跳转至

XTac UMI · 穿戴式多模态数据采集系统

让机器人数据集
拥有触觉

双手触觉、视觉与位姿同步记录
一次人类示范,直接得到可训练的数据集

XTac UMI G1 双夹爪配合 Pico4 Ultra 企业版头显
背包版、PC 版两种配置可选

认识 XTac UMI G1 选择配置

触觉 点亮物理智能

8 路画面 4 视触觉 + 2 腕部鱼眼 + 2 头显

3 组 6DoF 位姿 左右夹爪 + 头部

5ms 同步 定位精度 < 3mm

MCAP · LeRobot v3 原始与训练格式

产品亮点

  • 视触融合:指尖三色光视触觉,记录接触位置、夹取稳定性与物体滑移趋势
  • 贴近人手:穿戴式主夹爪,抓取、插拔、薄片夹取都能完成
  • 精确同步:多设备时间同步 5ms,空间定位 < 3mm
  • 开放格式:输出 LeRobot / MCAP 格式,兼容主流数据生态

了解产品亮点

两种配置,按场景选择

两种配置使用同一套夹爪与头显,录出的数据定义一致。背包版是整机交付、开箱即用,采集软件不开源;PC 版的采集软件与夹爪 SDK 开源,可以自由二次开发。

  • XTac UMI 数采背包

    背包版

    XTac UMI 数采背包


    • 背包完成全部采集计算,无需电脑
    • 平板浏览器即控制台,夹爪按键开始、停止录制
    • 单人背负即可作业,适合现场与长时间采集
    • 一键将数据集上传到 ModelScope,支持 MCAP 与 LeRobotDataset v3 两种格式

    整机交付、开箱即用,采集软件不开源;适用于规模化数据采集团队与数采工厂

    快速开始 了解背包

  • XTac UMI G1 视触觉夹爪

    PC 版

    XTac UMI G1 开发套件(开源)


    • 夹爪与头显直接连接您的工作站
    • 基于开源 LeRobot,录制即得到 LeRobotDataset
    • 采集软件与夹爪 SDK 开源,可自由二次开发
    • 支持从夹爪,可在机器人上执行与回放动作

    适用于科研与算法团队、自建训练流程

    快速开始 对比两种配置

采集到的数据

八路画面对应的传感器位置及其在数据集里的键名

传感器位置与数据键名

Rerun 实时预览:四路视触觉、头显双目、左右腕部相机与动作曲线

采集中 Rerun 实时预览(PC 版)

xense-lerobot-viewer 3D 回放:夹爪与头显轨迹、腕部与头显画面、四路视触觉

录完用 xense-lerobot-viewer 3D 回放

公开数据集 TacVerse

TacVerse 覆盖的三类场景:办公、家庭、工作台

用 XTac UMI G1 双夹爪采集的视触觉操作数据,以 LeRobotDataset v3 格式按 CC BY-SA 4.0 协议开放,可直接下载训练。

  • 122 个任务:覆盖办公、家庭、工作台三类场景
  • 17,690 条人类示范:共 370 小时、约 4,000 万帧
  • 双手视触觉:每帧四路触觉、两路腕部画面与夹爪位姿

Hugging Face ModelScope

PC 版开源仓库

PC 版的数采主仓库、夹爪 SDK、追踪器服务与可视化工具均以 Apache-2.0 许可开源,清单见 PC 版开源仓库;背包版采集软件不开源。