可扩展消息传递神经网络：大规模图表示学习无需注意力机制
机器学习
2026-03-11 v2
摘要
我们提出了可扩展消息传递神经网络（SMPNNs），并证明通过将标准卷积消息传递集成到预层归一化变换器风格的模块中替代注意力机制，我们可以生成高性能的深度消息传递图神经网络（GNNs）。这一改进产生了与最先进方法在大规模图转导学习中具有竞争力的结果，特别是在文献中表现最好的图变换器之上，而无需使用否则计算和内存开销昂贵的注意力机制。我们的架构不仅能够扩展到大规模图，还能构建深度消息传递网络，这与简单GNNs传统上因过度平滑而受限于浅层架构形成对比。此外，我们基于通用逼近性提供了一种新的过度平滑理论分析，并以此作为SMPNNs的动机。我们证明在图卷积的语境中，残差连接对于维持下游学习者的通用逼近特性是必要的，移除它们可能导致通用性的丧失。
引用
@article{arxiv.2411.00835,
title = {Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning},
author = {Haitz Sáez de Ocáriz Borde and Artem Lukoianov and Anastasis Kratsios and Michael Bronstein and Xiaowen Dong},
journal= {arXiv preprint arXiv:2411.00835},
year = {2026}
}