将Transformer与Weisfeiler-Leman对齐

与$k$维Weisfeiler-Leman ($k$-WL)层次结构对齐的图神经网络架构具有理论上理解透彻的表达能力。然而，这些架构通常无法在真实世界图上提供最先进的预测性能，限制了其实用性。尽管最近将图Transformer架构与$k$-WL层次结构对齐的工作显示出有希望的实证结果，但由于自注意力机制高昂的运行时间和内存复杂度，以及不切实际的架构假设（例如不可行的注意力头数量），将Transformer用于更高阶$k$仍然具有挑战性。在此，我们推进了Transformer与$k$-WL层次结构的对齐，展示了每个$k$更强的表达性结果，使其在实践中更可行。此外，我们开发了一个理论框架，允许研究已建立的位置编码，如拉普拉斯位置编码（Laplacian PEs）和频谱位置编码（SPE）。我们在大规模PCQM4Mv2数据集上评估了我们的Transformer，展示了与最先进方法相竞争的预测性能，并在小规模分子数据集上进行微调时展示了强大的下游性能。我们的代码可在https://github.com/luis-mueller/wl-transformers获取。