从YouTube烹饪视频中零样本模仿协作操作规划

人们经常在网上观看视频来学习如何烹饪新食谱、组装家具或修理电脑。我们希望使机器人具备完全相同的能力。这是具有挑战性的；操作动作存在很大差异，且某些视频甚至涉及多人，他们通过共享和交换物体与工具进行协作。此外，学习到的表示需要具有足够的通用性以便迁移到机器人系统。另一方面，先前的研究表明，人类操作动作的空间具有一种语言学的、层次化的结构，该结构将动作与所操作的物体和工具联系起来。基于这一动作语言理论，我们提出了一种系统，用于理解并执行来自网络上全长真实世界烹饪视频的演示动作序列。该系统以一段新的、先前未见的、标注了物体标签和边界框的烹饪视频作为输入，输出供一个或多个机械臂使用的协作操作动作规划。我们在包含100个YouTube烹饪视频的标准化数据集，以及包含两名参与者之间协作动作的六个全长YouTube视频中展示了系统性能。我们将我们的系统与由最先进动作检测基线组成的基线系统进行比较，并表明我们的系统实现了更高的动作检测准确率。我们还提出了一个开源平台，用于在仿真环境以及实际机械臂中执行学习到的规划。