论 GNN 中的梯度消失、过平滑与过挤压：连接递归与图学习
机器学习
2025-10-28 v2 人工智能
摘要
图神经网络 (GNN) 是利用图结构在节点间传递信息的模型，通常通过消息传递操作实现。尽管该方法被广泛成功应用，但众所周知它容易受到过平滑和过挤压现象的影响，这两种现象分别导致随着层数增加出现表示坍塌，以及对遥远且连接稀疏节点中包含信息的不敏感。在本文中，我们通过梯度消失的视角，利用线性控制理论的思想对这些问题提出了统一观点。我们提出将 GNN 解释为递归模型，并实证表明，GNN 的简单状态空间公式在不增加额外可训练参数成本的情况下有效缓解了过平滑和过挤压。此外，我们在理论和实证上表明： GNN 在设计上即使在少数几层之后也容易发生极端的梯度消失； 过平滑与导致梯度消失的机制直接相关； 过挤压最容易通过图重连和梯度消失缓解的组合来缓解。我们相信我们的工作将有助于弥合递归神经网络与图神经网络文献之间的差距，并开启设计新型深层高性能 GNN 的道路。
引用
@article{arxiv.2502.10818,
title = {On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning},
author = {Álvaro Arroyo and Alessio Gravina and Benjamin Gutteridge and Federico Barbero and Claudio Gallicchio and Xiaowen Dong and Michael Bronstein and Pierre Vandergheynst},
journal= {arXiv preprint arXiv:2502.10818},
year = {2025}
}