数据集介绍
ManiSkill (Manipulation Skill) (2021–2023) 是由加州大学圣地亚哥分校发布的基于SAPIEN物理引擎的大规模机器人操作仿真环境与数据集。该环境专注于提供高度真实的3D视觉输入和复杂的物理交互，支持视觉引导的机器人操作算法训练与评估。ManiSkill包含20个任务系列，涵盖超过2000个精细建模的3D物体模型，并提供超过400万帧的专家示范数据。
- 任务时序长度：短程至中等长度，单次模拟任务通常包含数十到数百个交互步，部分任务（如组装、复杂操作）需要多步连续交互。
- 动作可执行性：基于物理引擎的低级连续控制，输出关节位置、速度或末端执行器位姿命令。
- 时序连续性：提供动作帧序列的专家示范，包含完整的状态-动作轨迹。
- 语言控制：核心版本不包含自然语言指令标注。
主要特点
- 高保真视觉输入：基于SAPIEN引擎的逼真渲染，支持RGB、深度、分割等多模态视觉观测，接近真实世界的视觉复杂度。
- 丰富物体模型：包含超过2000个精细3D物体模型，覆盖多样化的几何形状与物理属性。
- 大规模示范数据：提供超过400万帧的专家示范数据（通过规划或人类遥操作生成），支持模仿学习研究。
- 任务类型广泛：从单一操作（拾取、放置、推动）到复杂组合任务（部件组装、充电器插入、水龙头开启）。
- 多范式支持：同时支持强化学习、模仿学习、视觉运动控制等多种学习范式。
数据来源
- 模拟器：基于SAPIEN（Simulator for AGI）物理引擎，支持高保真3D视觉渲染和精确物理模拟。
- 任务类型：20个任务系列，包括孤立或混杂场景下的物体拾取与移动、方块堆叠、插销插入盒子、部件组装、将充电器插入插座、开启水龙头等。
- 示范数据：通过运动规划或人类遥操作生成专家示范轨迹。
规模
- 任务系列：20个不同系列的操作任务。
- 物体模型：2000+个精细3D物体模型。
- 示范帧数：超过400万帧专家示范数据。
应用场景
数据集特别适合视觉引导的机器人操作算法研究：
- 视觉运动控制：基于高保真3D视觉输入的机器人操作策略学习，接近真实世界的感知复杂度。
- 模仿学习：大规模专家示范数据支持行为克隆、逆强化学习等模仿学习算法的训练与评估。
- 复杂操作技能学习：部件组装、插拔、旋拧等需要精细操作和精确对准的任务学习。
- Sim-to-Real迁移：高真实感的视觉渲染和物理模拟为仿真到真实环境的策略迁移提供更好的基础。
官方网站
- 项目主页：https://github.com/haosulab/ManiSkill
- 论文：https://openreview.net/forum?id=b_CQDy9vrD1
下载地址：https://jszn.datasets.obs.cn-east-3.myhuaweicloud.com/datas/datasets/free/maniskill.rar
