数据集介绍
RT-1 (Robotics Transformer 1) (2022) 是由Google DeepMind和Everyday Robots团队联合提出的多任务机器人操作模型及其配套数据集。该数据集通过大规模、多任务的真实机器人数据采集，旨在训练一个能够吸收广泛机器人经验、具备强泛化能力的多任务Transformer模型，使机器人能够根据自然语言指令执行700多种不同的操作任务。
- 任务时序长度：以短程任务为主，每段演示对应单个日常操作任务（如拾取放置、开关抽屉等）。
- 动作可执行性：基于7自由度连续运动命令进行低级控制，包括手臂运动（7维）、基座运动（3维）和模式切换（3种模式）。
- 时序连续性：以“episode”形式记录连续传感-动作序列，支持闭环控制。
- 语言控制：每条演示均配有人类指令文本标注，支持自然语言条件控制。
主要特点
- 大规模长时间采集：历时17个月，使用13台机器人采集13万段操作片段，是目前规模最大的家庭环境机器人操作数据集之一。
- 任务多样性突出：涵盖700多种家庭环境下的操作任务，涉及700多种不同物体，任务类型从简单操作到复杂技能均有覆盖。
- 实时推理能力：基于Transformer架构的RT-1模型能够以3Hz的控制频率实时运行，实现了高效的推理速度。
- 强泛化性能：在700多个训练任务上达到97%的成功率，且能够泛化到未见过的任务组合、干扰物和背景环境。
- 开源生态：数据集、模型代码和预训练权重全部开源，为后续研究提供了宝贵资源。
数据来源
- 采集平台：基于Everyday Robots（EDR）的移动机械臂平台，具有7自由度手臂、两指夹爪和移动基座。
- 采集环境：主要在真实厨房环境（办公室厨房、工作室厨房等）中采集，部分数据在受控工作室环境中采集。
- 数据形式：全部为真实物理环境采集数据，包含RGB图像序列和对应的动作指令。
规模
- 总演示轨迹：13万段机器人操作片段。
- 数据体量：总计约111 GB。
- 任务覆盖：涵盖700多种不同的操作任务。
- 物体种类：涉及700多种不同的操作物体。
- 采集周期：历时17个月，使用13台机器人同时采集。
应用场景
数据集覆盖广泛的家庭服务型操作任务，特别适合需要高泛化能力的多任务学习研究：
- 家庭服务机器人：如拾取放置物品、开关抽屉、擦拭台面、整理物品等日常家务操作。
- 多任务学习研究：700多种任务的丰富组合，支持研究多任务策略的泛化能力和迁移能力。
- 语言条件控制：每条轨迹配有人工指令标注，支持基于自然语言的机器人控制研究。
- 长程任务规划：结合SayCan算法，可执行多步骤的远距离移动操作任务。
官方网站
- 项目主页：https://robotics-transformer.github.io/
- 代码仓库：https://github.com/google-research/robotics_transformer
- 数据集下载：https://huggingface.co/agibot-world
