MotionTrans：人体 VR 数据驱动运动级学习用于机器人操作策略
机器人学
2025-09-23 v1
摘要
规模化的真实机器人数据是仿真学习中的关键瓶颈，导致采用辅助数据进行策略训练。虽然其他方面如图像或语言理解可从互联网数据集中学习，但获取运动知识仍具有挑战性。人类数据因其丰富的操纵行为多样性，为此提供了宝贵资源。虽然已有研究表明使用人类数据可带来诸多好处，如提升鲁棒性和训练效率，但是否能实现其最大优势——使机器人策略能够直接学习新运动以完成任务——尚不明确。本文通过多任务人机联合训练系统性地探索了这一潜力。我们引入 MotionTrans 框架，包括数据收集系统、人类数据转换管道和加权联合训练策略。通过同步联合训练 30 个人机任务，我们直接将 13 个任务的人类运动传递给可部署的端到端机器人策略。值得注意的是，9 个任务实现了零样本情境下的非平凡成功率。MotionTrans 还显著提升了预训练-微调性能（成功率提升约 40%）。通过消融研究，我们还识别了成功运动学习的关键因素：与机器人数据联合训练和广泛的任务相关运动覆盖。这些发现解锁了运动级学习从人类数据中获取的潜力，为训练机器人操作策略提供了有效使用人类数据的洞见。所有数据、代码和模型权重均已开源 https://motiontrans.github.io/。
引用
@article{arxiv.2509.17759,
title = {MotionTrans: Human VR Data Enable Motion-Level Learning for Robotic Manipulation Policies},
author = {Chengbo Yuan and Rui Zhou and Mengzhen Liu and Yingdong Hu and Shengjie Wang and Li Yi and Chuan Wen and Shanghang Zhang and Yang Gao},
journal= {arXiv preprint arXiv:2509.17759},
year = {2025}
}