在 Transformer 架构中解耦与集成关系信息与感官信息

关系推理是 generally intelligent 系统的核心组成部分，使其能够实现稳健和数据高效的归纳概括。最近的实证证据表明，许多现有的神经网络架构，包括 Transformer，在需要关系推理的任务上表现不佳。本文区分了两种信息类型：关于单个对象属性的感官信息，以及关于对象之间关系的关系信息。虽然神经注意力为控制对象之间感官信息的流动提供了强大的机制，但 Transformer 缺乏对关系信息的路由和处理的显式计算机制。为此，我们提出了 Transformer 框架的一个架构扩展，称为 Dual Attention Transformer（DAT），其包含两种独立的注意力机制：用于引导感官信息流动的感官注意力，以及用于引导关系信息流动的新颖关系注意力机制。我们在一系列任务上对 DAT 进行了实证评估，涵盖从合成关系基准到复杂的实际任务，如语言建模和视觉处理。我们的结果表明，将显式关系计算机制集成到 Transformer 架构中，可在数据效率和参数效率方面实现显著提升。