基于 Transformer 的深度模仿学习用于双臂机器人操作

深度模仿学习因无需环境模型和预编程机器人行为，在解决灵巧操作任务方面具有前景。然而，其在双臂操作任务中的应用仍具挑战性。在双臂操作设置中，由额外机械臂引起的状态维度增加会导致干扰，并造成神经网络性能不佳。我们利用自注意力机制解决该问题，该机制计算序列输入中元素间的依赖关系并聚焦于重要元素。将 Transformer（一种自注意力架构变体）应用于深度模仿学习，以在真实世界中解决双臂操作任务。所提方法已在真实机器人上的双臂操作任务中测试。实验结果表明，基于 Transformer 的深度模仿学习架构能够关注感官输入中的重要特征，从而减少干扰并相比无自注意力机制的基线架构提升操作性能。本工作及相关工作的数据可从 https://sites.google.com/view/multi-task-fine 获取。