通过域自适应元学习从观察人类中单次模仿

人类和动物能够通过仅一次观察他人执行技能来学习新行为。我们考虑让机器人也能做到这一点的问题——从人类的原始视频像素中学习，即使在机器人与被观察人类之间存在视角、环境和形体上的显著域偏移时也是如此。此前解决该问题的方法手工指定了人类与机器人动作的对应关系，并常常依赖显式的人体姿态检测系统。在本工作中，我们提出一种通过利用来自多种先前任务的人类和机器人演示数据，借助元学习构建先验知识，从而从人类视频中实现单次学习的方法。然后，结合该先验知识和仅一段人类视频演示，机器人便能执行该人类所演示的任务。我们在PR2机械臂和Sawyer机械臂上展示了实验，表明经过元学习后，机器人仅利用一段人类执行操作任务的视频，就能学会放置、推动以及拾取-放置新物体。