PC 版:XTac UMI G1 开发套件¶
PC 版把采集交给您自己的 x86 工作站:夹爪和头显用线直连工作站,基于开源 LeRobot 录制,直接得到 LeRobotDataset v3,可推送到 Hugging Face Hub。采集软件与夹爪 SDK 开源,适合科研与算法团队自由二次开发。
不想接电脑、在现场用平板操作的选背包版,两者对比见产品线与配置对比。
采集全流程¶
① 准备工作¶
每台电脑、每台设备做一次
- 认识硬件
部件、接线与上电顺序 - 安装环境
setup_env.sh或 Docker 镜像 - 配置主机
串口权限、关闭 ModemManager - 配置 Pico4 Ultra 企业版
开发者模式、XR 应用、追踪器 - 标定主夹爪
零点与行程上限,每只一次
② 采集¶
每次采集按这个顺序
- 上电与连接
插夹爪、开追踪器,关电脑 WiFi - 启动服务与 XR 应用
先启 PC Service,再开 XR 应用 - 预览检查
lerobot-teleoperate确认数据流 - 正式录制
lerobot-record,中途不重启 XR
把从夹爪装到机器人上、用程序控制开合与夹持,见从夹爪;直接调用夹爪 SDK,见SDK 与二次开发。
数采系统组成¶
整套采集在数采电脑上的一个 lerobot-record 进程里完成:各路设备各自独立读取,每一帧取各路的最新值合成一帧,配对后写成数据集。
把鼠标移到(手机上点按)任一模块,可以看到它的数据从哪来、到哪去;上方按钮切换三档。
- 主夹爪经 USB 接数采电脑:开合度由
xense.taccap读取(100Hz 推送),视触觉图像由xensesdk读取,腕部相机按序列号与所在夹爪对应。 - 运动追踪器装在夹爪顶部,由头显跟踪;头显经有线(推荐)或 WiFi 把位姿交给 XenseVR PC Service,再由采集程序换算到夹爪末端(TCP)。③ 档还送来头显双目画面与头部位姿。
lerobot-record每帧取各路最新值,把上一帧的观测与这一帧的位姿和开合度配成一行,写成 LeRobotDataset v3.0;相机画面边录边编码,有 NVIDIA GPU 时用硬件编码。
按接入的设备,采集分三档,用 --robot.type 选择:
| 档位 | 需要的设备 | 录到的数据 |
|---|---|---|
| ① 只有夹爪 | 主夹爪 | 触觉、腕部相机、开合度 |
| ② 带腕部位姿 | 主夹爪 + 追踪器 + 头显 | 再加夹爪位姿 |
| ③ 完全体 | 同上 | 再加头显双目画面与头部位姿 |
具体命令见 数据采集。
每帧记录什么¶
以双夹爪为例,数据集的每一行由第 t-1 帧的观测和第 t 帧的动作组成。把鼠标移到(手机上点按)任一数据项、来源或落盘位置,可以看到它从哪来、存到哪;按钮切换三档。
- 观测取第 t-1 帧、动作取第 t 帧,动作领先观测一步;每集第一帧没有上一帧可配对,因此少 1 帧。
- 位姿
*_tcp.*与head_camera.*都是 9 维:位置 x、y、z 加 6-D 旋转,世界系为 X 前 / Y 左 / Z 上。 - 三档的维数:① 观测状态与动作各 2 维、6 路画面;② 各 20 维、6 路画面;③ 各 29 维、8 路画面。
- 单夹爪(
--robot.type=taccap_gripper)的键名不带left_/right_前缀,腕部相机叫wrist_cam。
PC 版开源仓库¶
PC 版用到的软件除 xensesdk(许可证未声明)外均开源,下表是各仓库及其用途。背包版的采集软件不开源,不在此列。
| 仓库 / 包 | 许可证 | 备注 |
|---|---|---|
xense-taccap-lerobot |
Apache-2.0 | 数采主仓库,基于 lerobot 0.5.1 定制 |
xense.taccap |
Apache-2.0 | 夹爪 SDK,数采仓库以子模块引入;开发文档 |
xensevr_pc_service_sdk |
Apache-2.0 | Pico4 Ultra 企业版 PC 服务,以 .deb 安装 |
xensesdk |
未声明 | 视触觉传感器 SDK,由安装脚本安装;开发文档 |
xense-lerobot-viewer |
Apache-2.0 | 开源的本地可视化工具,在浏览器里查看本地 LeRobot 数据集 |