通过位置编码比较图 Transformer

图 Transformer 的区分能力与位置编码的选择密切相关：位置编码是用于增强基础 Transformer 以获取图信息的特征。位置编码主要有两种类型：绝对位置编码 (APEs) 和相对位置编码 (RPEs)。APEs 为每个节点分配特征并作为输入提供给 Transformer。RPEs 则为每对节点分配一个特征（例如图距离），并用于增强注意力模块。先验地，尚不清楚哪种方法能更好地最大化所得图 Transformer 的能力。在本文中，我们旨在理解这些不同类型位置编码之间的关系。有趣的是，我们表明使用 APEs 和 RPEs 的图 Transformer 在区分能力方面是等价的。具体而言，我们展示了如何在保持图 Transformer 区分能力的同时互换 APEs 和 RPEs。基于我们的理论结果，我们对多种 APEs 和 RPEs（包括电阻距离以及最近提出的稳定且具表达力的位置编码 (SPE)）进行了研究，并比较了它们在 Transformer 方面的区分能力。我们相信我们的工作将有助于 navigating 海量的位置编码选择，并为未来图 Transformer 位置编码的设计提供指导。