机器人操作深度模仿学习中基于记忆的注视预测

深度模仿学习是一种在自主机器人操作中无需硬编码控制规则的有前景的方法。当前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而，未来的机器人还需要能够利用其在复杂环境中通过经验获得的记忆来完成任务（例如，当机器人被要求在架子上找到一个之前使用过的物体时）。在这种情况下，简单的深度模仿学习可能会因复杂环境造成的干扰而失败。我们提出，基于序列视觉输入的注视预测能够使机器人执行需要记忆的操作任务。所提出的算法使用基于 Transformer 的自注意力架构，根据序列数据进行注视估计以实现记忆功能。该方法在一个需要记忆先前状态的真实机器人多物体操作任务上进行了评估。