数据集介绍
RoboSet 是一个大规模开源机器人操作数据集，由卡内基梅隆大学和 Meta AI 研究团队创建。该数据集包含 7500 条通过人类远程操作收集的机器人轨迹，涵盖了 12 种不同的操作技能，如滑动、开合、抓取、放置等，这些技能在 38 个任务和 10 个不同的厨房场景中得以体现。数据集中的每个技能在多种物体上进行了实例化，以确保行为的多样性。此外，RoboSet 还通过语义增强技术对数据进行扩充，以帮助模型更好地泛化到新的场景和任务中。
- 任务时序长度：支持长程任务，每个演示对应一个完整的厨房日常活动，包含多个连续的子任务。
- 动作可执行性：通过动觉示教和VR远程操作两种方式进行低级控制演示，覆盖不同操作风格。
- 时序连续性：每条演示包含4路多视角视频序列，完整记录操作全过程。
- 语言控制：无语言指令标注，数据集不包含自然语言控制信息。
主要特点
- 长程任务聚焦：专门针对多步骤厨房活动设计，如泡茶、烘焙等完整流程，远长于简单的“拾取-放置”任务。
- 多视角记录：每条演示包含4路不同视角的视频序列，为多视角学习提供丰富观测。
- 场景高度泛化：演示在数百种不同的厨房配置中采集，支持策略对新环境的泛化。
- 技能体系完整：跨12类基本操作技能，涵盖厨房日常操作的完整技能图谱。
- 任务结构清晰：长程活动被系统性地拆解为子任务序列（例如泡茶、烘焙等活动被拆解为子任务），便于研究与学习。
数据来源
- 采集平台：基于Franka Panda机械臂，在真实厨房场景中进行操作演示。
- 采集方式：包含两种采集模式——9,500条通过VR远程操作采集，19,000条通过动觉示教采集。
- 数据形式：全部为真实物理环境采集数据，包含4路多视角视频序列和机器人动作数据。
规模
- 总示范轨迹：28,500条机器人操作轨迹。
- 任务覆盖：涵盖38项厨房相关任务，如泡茶、烘焙等日常烹饪活动。
- 技能类别：跨12类基本操作技能。
- 场景多样性：在数百种不同厨房配置中采集。
应用场景
数据集特别适合需要长程规划能力的厨房操作机器人研究：
- 长程任务规划：训练能够规划和执行多步骤厨房活动（如完整的泡茶流程）的机器人智能体。
- 多视角策略学习：4路多视角视频数据支持视点融合和多模态感知研究。
- 技能迁移研究：12类基本技能在不同长程任务间的复用与迁移。
- 真实厨房部署：全部在真实厨房环境采集，训练策略可直接部署于家庭或商业餐饮场景。
官方网站
