InterACT：用于双臂操作的分层注意力Transformer的交互感知动作分块

与单臂操作相比，双臂操作由于协调两个机械臂的复杂性而面临独特的挑战。在本文中，我们介绍了InterACT：交互感知动作分块与分层注意力Transformer，这是一种专为双臂操作设计的新的模仿学习框架。InterACT利用分层注意力机制有效捕获双臂关节状态与视觉输入之间的相互依赖关系。该框架包括一个分层注意力编码器，通过分段和跨段注意力机制处理多模态输入，以及一个多臂解码器，并行生成每个臂的动作，同时通过同步块在臂间共享信息，将另一臂的输出作为上下文。我们在多个模拟和真实世界的双臂操作任务上进行的实验表明，InterACT优于现有方法。详细的消融研究进一步验证了关键组件的重要性，包括CLS令牌、跨段编码器和同步块的影响。我们在项目页面上提供了补充材料和视频。