跳转至

PC 版:XTac UMI G1 开发套件

PC 版把采集交给您自己的 x86 工作站:夹爪和头显用线直连工作站,基于开源 LeRobot 录制,直接得到 LeRobotDataset v3,可推送到 Hugging Face Hub。采集软件与夹爪 SDK 开源,适合科研与算法团队自由二次开发。

不想接电脑、在现场用平板操作的选背包版,两者对比见产品线与配置对比。

采集全流程

① 准备工作

每台电脑、每台设备做一次

  1. 认识硬件
    部件、接线与上电顺序
  2. 安装环境
    setup_env.sh 或 Docker 镜像
  3. 配置主机
    串口权限、关闭 ModemManager
  4. 配置 Pico4 Ultra 企业版
    开发者模式、XR 应用、追踪器
  5. 标定主夹爪
    零点与行程上限,每只一次

② 采集

每次采集按这个顺序

  1. 上电与连接
    插夹爪、开追踪器,关电脑 WiFi
  2. 启动服务与 XR 应用
    先启 PC Service,再开 XR 应用
  3. 预览检查
    lerobot-teleoperate 确认数据流
  4. 正式录制
    lerobot-record,中途不重启 XR

③ 数据

录完之后

  1. 检查完整性
    lerobot-check-dataset
  2. 上传 Hub(可选)
    lerobot-push-dataset-to-hub
  3. 了解数据格式
    每帧记录了什么、怎么读取

把从夹爪装到机器人上、用程序控制开合与夹持,见从夹爪;直接调用夹爪 SDK,见SDK 与二次开发。

数采系统组成

整套采集在数采电脑上的一个 lerobot-record 进程里完成:各路设备各自独立读取,每一帧取各路的最新值合成一帧,配对后写成数据集。 把鼠标移到(手机上点按)任一模块,可以看到它的数据从哪来、到哪去;上方按钮切换三档。

  • 主夹爪经 USB 接数采电脑:开合度由 xense.taccap 读取(100Hz 推送),视触觉图像由 xensesdk 读取,腕部相机按序列号与所在夹爪对应。
  • 运动追踪器装在夹爪顶部,由头显跟踪;头显经有线(推荐)或 WiFi 把位姿交给 XenseVR PC Service,再由采集程序换算到夹爪末端(TCP)。③ 档还送来头显双目画面与头部位姿。
  • lerobot-record 每帧取各路最新值,把上一帧的观测与这一帧的位姿和开合度配成一行,写成 LeRobotDataset v3.0;相机画面边录边编码,有 NVIDIA GPU 时用硬件编码。

按接入的设备,采集分三档,用 --robot.type 选择:

档位 需要的设备 录到的数据
① 只有夹爪 主夹爪 触觉、腕部相机、开合度
② 带腕部位姿 主夹爪 + 追踪器 + 头显 再加夹爪位姿
③ 完全体 同上 再加头显双目画面与头部位姿

具体命令见 数据采集。

每帧记录什么

以双夹爪为例,数据集的每一行由第 t-1 帧的观测和第 t 帧的动作组成。把鼠标移到(手机上点按)任一数据项、来源或落盘位置,可以看到它从哪来、存到哪;按钮切换三档。

  • 观测取第 t-1 帧、动作取第 t 帧,动作领先观测一步;每集第一帧没有上一帧可配对,因此少 1 帧。
  • 位姿 *_tcp.* 与 head_camera.* 都是 9 维:位置 x、y、z 加 6-D 旋转,世界系为 X 前 / Y 左 / Z 上。
  • 三档的维数:① 观测状态与动作各 2 维、6 路画面;② 各 20 维、6 路画面;③ 各 29 维、8 路画面。
  • 单夹爪(--robot.type=taccap_gripper)的键名不带 left_ / right_ 前缀,腕部相机叫 wrist_cam。

字段明细见 每帧记录内容,数据集格式见 数据集。

PC 版开源仓库

PC 版用到的软件除 xensesdk(许可证未声明)外均开源,下表是各仓库及其用途。背包版的采集软件不开源,不在此列。

仓库 / 包 许可证 备注
xense-taccap-lerobot Apache-2.0 数采主仓库,基于 lerobot 0.5.1 定制
xense.taccap Apache-2.0 夹爪 SDK,数采仓库以子模块引入;开发文档
xensevr_pc_service_sdk Apache-2.0 Pico4 Ultra 企业版 PC 服务,以 .deb 安装
xensesdk 未声明 视触觉传感器 SDK,由安装脚本安装;开发文档
xense-lerobot-viewer Apache-2.0 开源的本地可视化工具,在浏览器里查看本地 LeRobot 数据集