关系注意力：面向图结构任务泛化 Transformer

Transformer 灵活地处理代表特定任务实体及其属性的实值向量集合，其中每个向量可能编码一个词片段 token 及其在序列中的位置，或者某些完全不携带位置的信息。但作为集合处理器，Transformer 在推理更一般的图结构数据时处于劣势，其中节点代表实体，边代表实体之间的关系。为了解决这一缺陷，我们将 Transformer 注意力机制泛化，在每个 Transformer 层中考虑并更新边向量。我们在多种图结构任务上评估了这种关系 Transformer，包括大型且具挑战性的 CLRS 算法推理基准。在那里，它显著优于专门为图结构数据推理设计的 SOTA 图神经网络。我们的分析表明，这些增益归因于关系注意力利用图相对于集合具有更大表达能力的固有特性。