残差连接与归一化层可证明防止 GNN 中的过平滑问题
机器学习
2026-01-21 v3
摘要
残差连接和归一化层已成为图神经网络 (GNN) 的标准设计选择，最初被提出作为缓解 GNN 过平滑问题的解决方案。然而，这些方法如何从理论角度帮助缓解过平滑问题尚不清楚。在本工作中，我们对具有残差连接和归一化层的 (线性化) GNN 提供了正式且精确的表征。我们证明：(a)对于残差连接，初始特征在每一层的包含可以防止信号变得过于平滑，并确定可能的节点表示的子空间；(b)批量归一化通过对特征矩阵的每一列进行单独的缩放，防止输出嵌入空间完全坍缩到一维子空间。这导致节点表示收敛于消息传递算子的前 k 个特征子空间；(c)此外，我们展示了归一化层的centering步骤——可被理解为一种投影——以一种方式改变消息传递中的图信号，使得相关信息变得更难提取。因此，我们引入了一种新型、原则性的归一化层，称为 GraphNormv2，在其中，centering 步骤被学习，以避免以不可取的方式扭曲原始图信号。实验结果确认了我们方法的有效性。
关键词
引用
@article{arxiv.2406.02997,
title = {Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs},
author = {Michael Scholkemper and Xinyi Wu and Ali Jadbabaie and Michael T. Schaub},
journal= {arXiv preprint arXiv:2406.02997},
year = {2026}
}