Polynormer：线性时间的多项式表达力图 Transformer

图 Transformer (GTs) 已成为一种极具前景的架构，理论上比消息传递图神经网络 (GNNs) 具有更强的表达能力。然而，典型的 GT 模型至少具有二次复杂度，因此无法扩展至大图。尽管最近提出了一些线性 GT，但它们在几个流行的图数据集上仍落后于 GNN 对应模型，这对其实际表达能力构成了严峻挑战。为了平衡 GT 的表达能力与可扩展性之间的权衡，我们提出了 Polynormer，一种具有线性复杂度的多项式表达 GT 模型。Polynormer 建立在一个新颖的基础模型之上，该模型学习输入特征的高次多项式。为了使基础模型具有置换等变性，我们将其分别与图拓扑和节点特征集成，从而得到局部和全局等变注意力模型。因此，Polynormer 采用线性局部到全局的注意力机制来学习高次等变多项式，其系数由注意力分数控制。Polynormer 已在 13 个同配和异配数据集上进行了评估，包括拥有数百万节点的大图。广泛的实验结果表明，Polynormer 在大多数数据集上优于最先进的 GNN 和 GT 基线，甚至无需使用非线性激活函数。