一种通用、强大且可扩展图 Transformer 的构建方案

我们提出一种关于如何构建具有线性复杂度且在多样化基准上取得最先进结果的通用、强大、可扩展（GPS）图 Transformer 的方案。图 Transformer（GTs）在图表示学习领域日益流行，近期诸多文献涌现，但它们缺乏关于何为良好的位置或结构编码以及彼此区别所在的共同基础。本文中，我们以更清晰的定义总结不同类型的编码，并将其归类为局部、全局或相对。先前的 GTs 受限于具有数百个节点的小图，此处我们通过将局部真实边聚合与全连接 Transformer 解耦，提出首个节点与边数量上线性复杂度 $O(N+E)$ 的架构。我们认为该解耦不会对表达能力产生负面影响，我们的架构是图上的通用函数逼近器。我们的 GPS 方案由选择 3 种主要成分组成：（i）位置/结构编码，（ii）局部消息传递机制，以及（iii）全局注意力机制。我们提供模块化框架 GraphGPS，支持多种类型编码，并在小图与大图中均提供效率与可扩展性。我们在 16 个基准上测试我们的架构，并在所有基准中展示极具竞争力的结果，展示了模块化与不同策略组合所获得的实证收益。