机器人模仿人类动作

模仿可以使我们快速理解一项新任务。通过一次演示，我们可以直接了解需要执行哪些动作以及它们具有哪些目标。在本文中，我们引入了一种新的模仿学习方法，以应对机器人模仿人类时所面临的挑战，例如视角和身体图式的变化。我们的方法可以使用单次人类演示来抽象出关于所演示任务的信息，并利用该信息进行泛化和复现。我们通过两种最先进方法的新颖集成来实现这一能力：一个扩散动作分割模型，用于从演示中抽象出时间信息；以及一个开放词汇目标检测器，用于获取空间信息。此外，我们精炼抽象出的信息，并使用符号推理来创建一个利用逆运动学的动作计划，从而使机器人能够模仿所演示的动作。