SGFormer：简化并增强用于大图表示的Transformer

由于海量数据点之间的相互依赖特性，在大规模图上学习表示是一项长期存在的挑战。Transformer作为一类新兴的图结构数据基础编码器，因其全局注意力能够捕获超越邻节点的全点对影响，在小型图上已展现出有前景的性能。即便如此，现有方法倾向于继承语言和视觉任务中Transformer的精神，并通过堆叠深层多头注意力来采用复杂模型。在本文中，我们批判性地证明，即便使用单层注意力，也能在节点数从千级到十亿级的节点属性预测基准上带来令人惊讶的竞争力。这促使我们重新思考大图上Transformer的设计哲学，其中全局注意力是阻碍可扩展性的计算开销。我们将所提方案构建为简化图Transformer（SGFormer），其由一种简单注意力模型赋能，可在单层内于任意节点间高效传播信息。SGFormer不需要任何位置编码、特征/图预处理或增广损失。经验上，SGFormer成功扩展到网页级图ogbn-papers100M，并在中等规模图上相较SOTA Transformer实现高达141倍的推理加速。除当前结果外，我们相信所提方法本身为构建大图Transformer启发了一条独立有趣的新技术路径。