从合成先验高效实现世界动作模型的仿真到现实迁移

弥合仿真到现实的差距是部署学习型操作策略的核心挑战。仿真到现实学习具有吸引力，因为它可以用可扩展的合成数据替代昂贵的真实机器人演示，然而世界动作模型此前尚未被证明能从仿真迁移到真实机器人操作。我们研究是否可以从合成先验训练世界动作模型，并在现实世界中零样本部署。为此，我们基于Cosmos Policy（一种为视觉运动控制改编的视频扩散模型）进行构建。我们构建了具有广泛域随机化的仿真环境，并使用AnyTask运动规划流水线生成演示。我们在物体提升、抽屉打开和抓取放置任务上评估了我们的方法，每个任务使用约800个合成演示，且不使用真实演示。在Franka机器人上零样本部署时，我们的策略达到了35%的平均成功率。据我们所知，这代表了世界动作模型在机器人操作中首次成功的仿真到现实迁移。