DexMimicGen:基于模仿学习的双手灵巧操纵自动数据生成
机器人学
2025-03-07 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
从人类演示中进行模仿学习是教导机器人操纵技能的有效手段。但数据获取是将这一范式更广泛应用的主要瓶颈,由于所需的成本和人力投入。近年来,针对双手灵巧机器人(如人形机器人)的模仿学习引起了广泛关注。不幸的是,数据收集在这里更加具有挑战性,因为需要同时控制多个机械臂和多指手。仿真中的自动化数据生成是为满足这一需求的可扩展替代方案。为此,我们引入DexMimicGen,一个大规模自动化数据生成系统,用于从少量人类演示合成具有灵巧手的类人机器人的轨迹。我们提供了一系列双手灵巧操纵的仿真环境,涵盖各种操纵行为和不同对两个机械臂协调需求。我们从仅 60 个源人类演示中生成 21K 个演示,并研究了若干数据生成和策略学习决策对代理性能的影响。最后,我们提出了真实-仿真-真实管道并在真实世界的人形机器人分类瓶盖任务中部署。生成的数据集、仿真环境和额外结果位于 https://dexmimicgen.github.io/。
引用
@article{arxiv.2410.24185,
title = {DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning},
author = {Zhenyu Jiang and Yuqi Xie and Kevin Lin and Zhenjia Xu and Weikang Wan and Ajay Mandlekar and Linxi Fan and Yuke Zhu},
journal= {arXiv preprint arXiv:2410.24185},
year = {2025}
}
备注
ICRA 2025. Project website: https://dexmimicgen.github.io/