观察式模仿：基于上下文翻译从原始视频学习模仿行为

模仿学习是自主系统在无显式奖励函数时获取控制策略的有效方法，其利用专家（通常是人类操作员）提供的演示作为监督。然而，标准模仿学习方法假设智能体接收观测-动作元组示例，这些示例可提供例如给监督学习算法。这与人类和动物模仿的方式相反：我们观察另一个人执行某些行为，然后找出哪些动作将实现该行为，补偿视角、环境、物体位置与类型以及其他因素的变化。我们将此类模仿学习称为“观察式模仿”（imitation-from-observation），并提出了一种基于带上下文翻译的视频预测与深度强化学习的模仿学习方法。这解除了模仿学习中演示应由相同环境配置下的观测组成的假设，并实现了多种有趣应用，包括仅通过观察人类使用工具的视频来学习涉及工具使用的机器人技能。我们的实验结果表明，我们的方法在从人类演示者视频中学习广泛现实世界机器人任务（以常见家务为模型，包括扫地、舀杏仁、推物体以及若干仿真任务）方面是有效的。