MoMaGen：用于多步骤双手移动操作的软硬约束下生成演示
机器人学
2026-02-26 v4 人工智能
机器学习
摘要
从大规模、多样化的人类演示中进行模仿学习已被证明是训练机器人有效的方法，但收集此类数据成本高昂且耗时。对于双手移动操作，挑战更为严峻，因为人类必须遥控移动底盘和两个高自由度的机械臂。先前的 X-Gen 工作为静态（双手）操作任务开发了自动化数据生成框架，通过增强少量人类演示中的新场景配置来合成大规模数据集。然而，针对双手移动操作任务，先前工作存在两个主要不足：1)移动底盘引入了如何放置机器人底盘以启用下游操作（可达性）的问题；2)活动摄像头引入了如何定位摄像头以生成面向视觉-机械策略的数据（可见性）的问题。为解决这些挑战，MoMaGen 将数据生成形式化为受约束优化问题，在满足硬约束（如可达性）的同时平衡软约束（如导航期间的可见性）。这种表述可推广到大多数现有自动化数据生成方法，并为开发未来方法提供原则性基础。我们在四个多步骤双手移动操作任务上进行评估，发现 MoMaGen 能生成远超前置方法的数据集多样性。由于数据集的多样性，我们还表明使用单个源演示即可训练出成功的模仿学习策略。此外，训练出的策略可仅用少量真实世界数据（40 个演示）进行微调，以成功部署在真实机器人硬件上。更多细节请参阅我们的项目页面：momagen.github.io。
引用
@article{arxiv.2510.18316,
title = {MoMaGen: Generating Demonstrations under Soft and Hard Constraints for Multi-Step Bimanual Mobile Manipulation},
author = {Chengshu Li and Mengdi Xu and Arpit Bahety and Hang Yin and Yunfan Jiang and Huang Huang and Josiah Wong and Sujay Garlanka and Cem Gokmen and Ruohan Zhang and Weiyu Liu and Jiajun Wu and Roberto Martín-Martín and Li Fei-Fei},
journal= {arXiv preprint arXiv:2510.18316},
year = {2026}
}
备注
Project website: momagen.github.io. The first four authors contribute equally. Accpeted to International Conference on Learning Representations (ICLR 2026)