RoboMIND：面向机器人操作的多体智能规范数据基准
机器人学
2026-02-24 v3 人工智能
摘要
在本文中，我们介绍了RoboMIND（多体智能机器人操作规范数据），这是一个包含107k条演示轨迹的数据集，涵盖涉及96个物体类别的479个不同任务。RoboMIND通过人类遥操作收集，包含全面的机器人相关信息，包括多视角观测、本体感受机器人状态信息和语言任务描述。为了确保模仿学习的数据一致性和可靠性，RoboMIND建立在统一的数据收集平台和标准化协议之上，涵盖四种不同的机器人形态：Franka Emika Panda、UR5e、AgileX双臂机器人和一个具有双灵巧手的人形机器人。我们的数据集还包括5k个真实世界失败演示，每个都附有详细原因，使得在策略学习过程中能够进行失败反思和纠正。此外，我们在Isaac Sim模拟器中创建了一个数字孪生环境，复制了真实世界的任务和资产，这有助于低成本收集额外的训练数据并实现高效评估。为了展示我们数据集的质量和多样性，我们使用各种模仿学习方法进行单任务设置实验，并使用最先进的视觉-语言-动作（VLA）模型进行多任务场景实验。通过利用RoboMIND，VLA模型实现了高操作成功率并展示了强大的泛化能力。据我们所知，RoboMIND是在统一平台上收集的最大的多形态遥操作数据集，提供了大规模、高质量的机器人训练数据。我们的项目位于https://x-humanoid-robomind.github.io/。
引用
@article{arxiv.2412.13877,
title = {RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation},
author = {Kun Wu and Chengkai Hou and Jiaming Liu and Zhengping Che and Xiaozhu Ju and Zhuqin Yang and Meng Li and Yinuo Zhao and Zhiyuan Xu and Guang Yang and Shichao Fan and Xinhua Wang and Fei Liao and Zhen Zhao and Guangyu Li and Zhao Jin and Lecheng Wang and Jilei Mao and Ning Liu and Pei Ren and Qiang Zhang and Yaoxu Lyu and Mengzhen Liu and Jingyang He and Yulin Luo and Zeyu Gao and Chenxuan Li and Chenyang Gu and Yankai Fu and Di Wu and Xingyu Wang and Sixiang Chen and Zhenyu Wang and Pengju An and Siyuan Qian and Shanghang Zhang and Jian Tang},
journal= {arXiv preprint arXiv:2412.13877},
year = {2026}
}
备注
21 pages, 17 figures, Robotics: Science and Systems 2025