数据集介绍
BC-Z (Behavior Cloning from Zero-shot) (2022) 是由Google Everyday Robots团队发布的大规模、多机器人、多场景机器人操作数据集。该数据集专为零样本泛化设计，通过将视觉与自然语言理解相结合，使机器人能够通过指定新任务（使用语言或视频）来执行训练过程中未见过的操作，实现了基于模仿学习的零样本任务泛化。
- 任务时序长度：中等时长，部分任务需要100步以上的决策序列。
- 动作可执行性：基于10 Hz闭环视觉马达控制，输出低级连续动作命令。
- 时序连续性：以时序视觉观测与动作演示形式记录，完整保留闭环控制流程。
- 语言控制：支持通过预训练语言/视频嵌入来指定新任务，无需额外微调。
主要特点
- 零样本泛化能力：核心亮点在于支持对新任务的零样本执行，无需在新任务上进行任何微调。
- 跨硬件采集：数据采集自多台不同硬件的机器人（硬件存在差异如手臂刚度、相机参数、末端执行器尺寸等），增加了数据的多样性。
- 高随机化设计：包含物体位置随机分布、背景变换、干扰物添加等多种变化，提升训练策略的鲁棒性。
- 多模态任务指定：支持通过语言指令或视频示范两种方式指定新任务，提供了灵活的任务输入接口。
- 大规模真实数据：总计25,877段人机演示，覆盖100种多样的操作任务。
数据来源
- 采集平台：基于Everyday Robots（EDR）的移动机械臂平台，在多台不同硬件配置的机器人上采集。
- 采集环境：多样化的真实环境，包含不同的背景、光照条件和物体布局。
- 数据形式：全部为真实物理环境采集数据，包含时序视觉观测（RGB图像）和对应的机器人动作序列。
规模
- 总演示轨迹：25,877段人机演示。
- 任务覆盖：涵盖100种不同的操作任务。
- 硬件多样性：多台存在硬件差异的机器人参与数据采集。
应用场景
数据集特别适合需要零样本泛化能力的机器人学习研究：
- 零样本任务学习：训练能够执行从未见过的任务的机器人策略，无需额外数据标注或模型微调。
- 语言引导机器人：通过自然语言指令指定新任务，适用于家庭服务等非结构化环境。
- 跨硬件迁移：由于数据采集自多台不同硬件的机器人，支持研究策略在不同硬件平台间的迁移能力。
- 多模态策略学习：支持语言和视频两种任务指定方式，适合多模态行为克隆研究。
官方网站
下载地址：https://jszn.datasets.obs.cn-east-3.myhuaweicloud.com/datas/datasets/free/BC-Z%282022%29.zip
