超平滑现象背后：深层图神经网络的可训练性挑战
机器学习
2024-08-08 v1
摘要
当图神经网络（GNN）的图传播层数超过8-10时，性能会急剧下降，这被广泛归因于“过平滑”现象。尽管最近的研究表明，过平滑可能不是导致性能下降的主要原因，但尚未从理论视角提供严格的分析，这进一步要求进行调查。在本文中，我们系统性地分析了深层 GNN 的真正主导问题，并通过实验和理论梯度分析识别出这些 GNN 试图解决过平滑问题所依赖的关键问题。我们理论上证明，深层多层感知器（MLP）的困难训练问题实际上是主要挑战，各种声称解决过平滑的方法实际上改善了 MLP 的可训练性，这才是它们性能提升的主要原因。我们进一步的调查揭示了训练问题，发现对梯度流施加适当约束的较小上界显著增强了 GNN 的可训练性。在多样化数据集上的实验结果表明，我们的理论发现与实证证据保持一致。我们的分析为构建深层图模型提供了新的见解。
引用
@article{arxiv.2408.03669,
title = {Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks},
author = {Jie Peng and Runlin Lei and Zhewei Wei},
journal= {arXiv preprint arXiv:2408.03669},
year = {2024}
}
备注
CIKM2024