数据集介绍

RoboNet 由谷歌机器人团队推出的大规模跨平台机器人视觉交互数据集，以无固定目标的自由交互片段为主，海量视频时序数据用于视觉动力学模型学习、跨机器人技能迁移与虚实域适配。

• 任务时序长度：短程自由交互任务，无明确任务目标，以随机物体交互片段为主。
• 动作可执行性：提供低级控制动作，由自动策略或人类遥操作共同生成。
• 时序连续性：具备连续多帧视频序列，完整记录机器人与环境实时交互过程。
• 语言控制：无自然语言指令标注，无任务级语义定义。

主要特点

1. 跨硬件平台适配：覆盖 7 套不同机械臂硬件与实验场景，适配跨机器人迁移学习。
2. 海量视觉时序数据：千万级交互视频帧，适合视觉动力学、自监督表征学习。
3. 无约束自由交互：机器人自主随机完成抓取、推动、移动等行为，数据场景丰富无局限。
4. 虚实迁移适配：可有效降低仿真环境到真实机器人的域适配成本。

数据来源

• 采集平台：7 套不同结构、参数的机械臂硬件实验平台。
• 场景环境：多类实景工作台、物体交互箱体等通用实验场景。
• 数据形式：实景真实机器人交互视频数据+ 对应底层控制动作、状态时序数据。

规模

• 数据总量：累计 1500 万帧机器人交互视频序列。
• 硬件覆盖：包含 7 种不同机械臂平台与实验场景。
• 交互形式：机器人自主随机完成抓取、移动、推动等无目标物体交互。

应用场景

1. 机器人视觉动力学模型、自监督视觉表征学习训练。
2. 跨机械臂硬件的技能迁移、通用机器人预训练模型研发。
3. 仿真到真实环境的域适应、虚实迁移算法研究。

官方网站

数据集：https://github.com/SudeepDasari/RoboNet/wiki/Getting-Started

论文：https://arxiv.org/abs/1910.11215