跳转至

一页速通

从上电到录出第一条数据,照着做即可。开始前确认这五项都已完成:

1. 上电与连接

  1. 插上夹爪 USB。
  2. 头显接上有线网络,关闭电脑 WiFi。
  3. 打开头显,短按追踪器电源键至蓝灯亮起。
  4. 启动 XenseVR PC Service:/opt/apps/roboticsservice/runService.sh
  5. 与机器人朝向一致打开 XTac UMI XR,连接方式选「USB网络」,点「连接」,网络状态变为「连接成功」。

夹爪经 USB 连接到电脑

夹爪经 USB Type-C 连接电脑

XTac UMI XR 控制台:连接方式选 USB网络,连接成功

XTac UMI XR 网络状态变为「连接成功」

三个容易出错的地方

  • 先启动 PC Service,再打开 XR 应用,否则连不上。
  • 头显走有线时必须关闭电脑 WiFi,否则追踪不稳。见 网络连接。
  • 采集期间不要重启 XR 应用:重启会重设世界原点,同一数据集里的位姿就对不上了。

下电按相反顺序:先停止录制并等当前这一集存盘,再退出 XR 应用、停掉 PC Service,最后拔线,拔线顺序见供电与连接要求。

2. 自检

python -c "from xense.taccap import scan_grippers
for g in scan_grippers(): print(g.side.name, g.role.name, repr(g.firmware_sn))"

每只夹爪一行,role 为 Leader 或 Follower,序列号不为空。出问题见 故障排查。

3. 预览检查

lerobot-teleoperate \
    --robot.type=bi_taccap_gripper \
    --robot.id=0 \
    --fps=30 \
    --display_data=true

Rerun 实时预览:四路视触觉、左右腕部相机与状态、动作曲线

lerobot-teleoperate \
    --robot.type=xtac_umi_g1 \
    --robot.id=0 \
    --fps=30 \
    --display_data=true

Rerun 实时预览:四路视触觉、头显双目、左右腕部相机与动作曲线

移动、开合夹爪,确认各路画面、触觉和位姿都在更新,然后按 Ctrl+C 退出。

三档用 --robot.type 区分,预览用哪一档,录制就用哪一档:

档位 写法 包含的数据
① 只有夹爪 --robot.type=bi_taccap_gripper
--robot.enable_tracker=false
触觉、腕部相机、开合度;不需要 PC Service
② 带腕部位姿 --robot.type=bi_taccap_gripper 再加夹爪位姿 tcp.*
③ 完全体 --robot.type=xtac_umi_g1 再加头显双目画面与头部位姿

启动前把追踪器放在头显视野内,被遮挡会丢跟踪。

4. 正式录制

lerobot-record \
    --robot.type=bi_taccap_gripper \
    --robot.id=0 \
    --dataset.repo_id=<你的org>/<数据集名> \
    --dataset.single_task='Pick up the object' \
    --dataset.num_episodes=1 \
    --dataset.fps=30 \
    --dataset.episode_time_s=120 \
    --dataset.reset_time_s=60 \
    --dataset.push_to_hub=false

每帧记录 6 路画面:四路视触觉与左右腕部相机,以及开合度和夹爪位姿。

lerobot-record \
    --robot.type=xtac_umi_g1 \
    --robot.id=0 \
    --dataset.repo_id=<你的org>/<数据集名> \
    --dataset.single_task='Pick up the object' \
    --dataset.num_episodes=1 \
    --dataset.fps=30 \
    --dataset.episode_time_s=120 \
    --dataset.reset_time_s=60 \
    --dataset.push_to_hub=false

每帧记录 8 路画面,在上一档基础上多了头显双目,以及头部位姿:

八路画面与数据键的对应
八路画面及其在数据集里的键名

  • --robot.id 必填,直接填工位号数字(0、1…),一套设备一个。
  • --robot.type(以及是否加 --robot.enable_tracker=false)与预览时保持一致;只有夹爪时在 ② 的命令里加上这个开关。
  • 单夹爪:--robot.type=taccap_gripper,两只夹爪都接着时再加 --robot.side=left 或 right。

全部参数见 录制参数。

5. 检查与上传

检查数据集完整性:

lerobot-check-dataset --repo-id <你的org>/<数据集名>

需要时上传到 Hugging Face Hub:

lerobot-push-dataset-to-hub \
    --repo-id <你的org>/<数据集名> \
    --dataset-path ~/.cache/huggingface/lerobot/<你的org>/<数据集名> \
    --upload-large-folder

数据集的结构与字段见 数据集。