HumanoidMimicGen: 基于全身规划的移动操作数据生成

模仿学习是训练人形机器人行走和操作的一种有前景的方法，但它需要大量的演示，而这些演示通过遥操作收集既耗时又困难。现有的数据生成算法可以自动合成操作器的演示，但它们在仿人机器人上效果不佳，因为其高维复合动作空间涉及手臂、腿和躯干。我们提出HumanoidMimicGen，一种生成人形机器人腿部移动操作数据的方法。我们的方法将来自少量源演示的接触丰富的全身技能适应到新状态，泛化到物体姿态的变化。通过将这些单臂和双臂技能与全身移动和操作规划交错进行，该方法在多样化的场景和布局中生成了稳定、无碰撞的数据。为了评估我们的方法，我们引入了一个新的模拟移动操作基准，包含九个测试人形机器人移动操作能力的多样化任务。在那里，我们证明了HumanoidMimicGen自动为模仿学习生成了大型数据集，并能够系统研究数据生成和策略学习决策如何影响模型性能。我们表明，使用HumanoidMimicGen生成的数据共同训练的全身视觉运动策略，其性能比仅使用真实世界数据训练的策略高出20%。