无位置编码的图Transformer

近年来，用于图表示学习的Transformer变得越来越流行，无论是单独使用还是与消息传递图神经网络(MP-GNN)结合，都在各种图数据集上取得了最先进的性能。在以结构或位置编码(PE)的形式向天生结构无关的Transformer架构注入图归纳偏置，是实现这些令人印象深刻结果的关键。然而，设计此类编码非常棘手，已有多种不同的尝试来设计这些编码，包括拉普拉斯特征向量、相对随机游走概率(RRWP)、空间编码、中心性编码、边编码等。在这项工作中，我们认为，只要注意力机制本身融入了图结构信息，就可能完全不需要这些编码。我们引入了Eigenformer，这是一种图Transformer，采用了一种新颖的谱感知注意力机制，能够感知图的拉普拉斯谱，并通过实验证明，它在多个标准GNN基准测试上取得了与SOTA图Transformer相竞争的性能。此外，我们从理论上证明了Eigenformer能够表达各种图结构连接矩阵，这对于在较小图上学习尤其重要。