通过对齐仿真与视频演示学习操作工具

将机器人无缝集成到人类环境中，要求机器人学会如何使用现有的人类工具。当前学习工具操作技能的方法主要依赖于在目标机器人环境中提供的专家演示，例如通过手动引导机器人机械臂或通过遥操作。在这项工作中，我们引入了一种自动化方法，用 Youtube 视频代替专家演示来学习工具操作策略。主要贡献有两方面。首先，我们设计了一个对齐程序，将仿真环境与视频中观察到的真实世界场景对齐。这被表述为一个优化问题，旨在寻找工具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种模仿学习方法，该方法侧重于工具的轨迹而不是人类的运动。为此，我们将强化学习与优化程序相结合，以在对齐后的环境中基于工具运动寻找控制策略和机器人的放置位置。我们在仿真中的铲子、镰刀和锤子工具上演示了所提出的方法，并在真实的 Franka Emika Panda 机器人演示中展示了针对铲子训练的策略的有效性。