中文

DexMimicGen:基于模仿学习的双手灵巧操纵自动数据生成

机器人学 2025-03-07 v2 人工智能 计算机视觉与模式识别 机器学习

摘要

从人类演示中进行模仿学习是教导机器人操纵技能的有效手段。但数据获取是将这一范式更广泛应用的主要瓶颈,由于所需的成本和人力投入。近年来,针对双手灵巧机器人(如人形机器人)的模仿学习引起了广泛关注。不幸的是,数据收集在这里更加具有挑战性,因为需要同时控制多个机械臂和多指手。仿真中的自动化数据生成是为满足这一需求的可扩展替代方案。为此,我们引入DexMimicGen,一个大规模自动化数据生成系统,用于从少量人类演示合成具有灵巧手的类人机器人的轨迹。我们提供了一系列双手灵巧操纵的仿真环境,涵盖各种操纵行为和不同对两个机械臂协调需求。我们从仅 60 个源人类演示中生成 21K 个演示,并研究了若干数据生成和策略学习决策对代理性能的影响。最后,我们提出了真实-仿真-真实管道并在真实世界的人形机器人分类瓶盖任务中部署。生成的数据集、仿真环境和额外结果位于 https://dexmimicgen.github.io/。

关键词

引用

@article{arxiv.2410.24185,
  title  = {DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning},
  author = {Zhenyu Jiang and Yuqi Xie and Kevin Lin and Zhenjia Xu and Weikang Wan and Ajay Mandlekar and Linxi Fan and Yuke Zhu},
  journal= {arXiv preprint arXiv:2410.24185},
  year   = {2025}
}

备注

ICRA 2025. Project website: https://dexmimicgen.github.io/