流作为跨域操作界面

我们提出了 Im2Flow2Act，一个可扩展的学习框架，使机器人能够无需真实世界机器人训练数据即可获取真实世界的操作技能。Im2Flow2Act 的关键思想是使用对象流作为操作界面，桥接不同 embodiment（即人类和机器人）以及训练环境（即真实世界和模拟）之间的差距。Im2Flow2Act 包含两个组件：流生成网络和流条件化策略。流生成网络在人类演示视频上训练，生成基于任务描述从初始场景图像中产生对象流。流条件化策略在仿真机器人玩耍数据上训练，将生成的对象流映射到机器人动作，以实现所需的对象运动。通过使用流作为输入，该策略可以在真实世界中直接部署，与真实世界之间的仿真-现实鸿沟最小。通过利用真实世界的人类视频和仿真机器人玩耍数据，我们绕过了在真实世界中遥控物理机器人的挑战， resulting in 一个可扩展的多任务系统。我们在各种真实世界任务上展示了 Im2Flow2Act 的能力，包括刚性、关节和可变形对象的操作。