数据集介绍
RoboMIND（多本体智能规范数据用于机器人操作）是北京仿人机器人创新中心发布的大规模、多本体真实机器人操作数据集。数据通过人类遥操作采集，在统一的数据收集平台和标准化协议下构建，涵盖四种不同的机器人实例：Franka Emika Panda、UR5e、AgileX 双臂机器人以及双手灵巧型人形机器人。数据集专注于多场景、多物体的中长程任务模仿学习。
- 任务时序长度：中长程任务，单个任务包含几十至数百个动作步骤，适合训练具有多阶段规划能力的模型。
- 动作可执行性：基于真实机器人采集的低层关节控制轨迹，包含完整的关节角度、末端执行器位姿以及多视角视觉、本体感知等多模态信息，可直接用于真机部署。
- 时序连续性：数据为连续轨迹序列，保留了任务执行的完整时序依赖关系。此外，数据集还包含5,000 个真实世界的失效演示，每个失效演示均附有详细原因标注，支持策略学习中的失效反思与纠错能力训练。
- 语言控制：提供自然语言任务描述，支持语言条件的行为生成与任务泛化。
主要特点
- 高复杂度任务覆盖：包含479 个跨场景任务，覆盖 96 类不同物体，任务设计强调场景与物体的泛化性。
- 真实环境采集：数据 100% 在真实物理环境中采集，具备直接的真机迁移价值。
- 多模态数据：同步记录多视角 RGB 图像、深度图、关节状态、末端执行器位姿等多模态信息。
- 标准化数据格式：遵循 LeRobot 等主流开源框架的数据规范，便于直接加载与使用。
数据来源
- 发布方：北京仿人机器人创新中心
- 采集平台：多款真实人形机器人平台
- 采集方式：遥操作与自主采集结合
规模
- 演示轨迹：107,000 条真实机器人操作轨迹
- 数据体量：超过 1 TB
- 任务数量：479 个跨场景任务
- 物体数量：96 类不同物体
- 轨迹构成：5 万条轨迹为精细标注数据
应用场景
覆盖多种真实物理操作场景，特别适合需要跨场景泛化的任务：
- 家庭服务（整理、取放、清洁等）
- 商业服务（零售补货、餐饮服务等）
- 工业操作（物料分拣、装配等）
- 物流仓储（包裹分拣、货架整理等）
官方网站
数据集链接：https://x-humanoid-robomind.github.io
论文链接：https://arxiv.org/abs/2412.13877
