通过非局部消息传递解决 GNNs 中的过平滑问题：代数平滑与深度可扩展性
机器学习
2025-12-11 v2
摘要
层归一化（LN）的位置与过平滑现象之间的关系尚未充分探讨。我们识别出一个关键困境：Pre-LN 架构避免过平滑，但受深度诅咒的制约；而 Post-LN 架构则绕过深度诅咒，但经历过平滑。为此，我们提出一种基于 Post-LN 的新方法，通过诱导代数平滑来防止过平滑，同时避免深度诅咒。实验结果在五个基准数据集上表明，我们的方法支持更深的网络（最高可达256层），并提升性能，无需额外参数。关键贡献：理论表征：分析 LN 动力学及其对过平滑和深度诅咒的影响。原则性解决方案：一种高效的方法，通过诱导代数平滑避免过平滑和深度诅咒。实证验证：大量实验表明该方法在更深的 GNN 中有效。
引用
@article{arxiv.2512.08475,
title = {Solving Oversmoothing in GNNs via Nonlocal Message Passing: Algebraic Smoothing and Depth Scalability},
author = {Weiqi Guan and Junlin He},
journal= {arXiv preprint arXiv:2512.08475},
year = {2025}
}
备注
18 pages, 4 figures