探索与改进深度图神经网络的初始化：信号传播视角
机器学习
2025-07-16 v2
摘要
图神经网络通常随着网络深度的增加而性能下降。本文通过引入增强GNN内信号传播的初始化方法来解决这个问题。我们提出了GNN中有效SP的三个关键指标：前向传播、反向传播和图嵌入变化。前两个指标源于经典SP理论，而第三个指标是专门为GNN设计的。我们从理论上证明，GNN中广泛使用的、随着深度增加会出现性能退化的常见初始化方法，无法同时控制这三个指标。为了克服这一局限，直接利用SP分析——寻找能优化这三个指标的权重初始化方差——被证明能显著增强深度GCN中的SP。这种方法被称为图引导信号传播初始化。我们的实验表明，SPoGInit在各种任务和架构上优于常用的初始化方法。值得注意的是，SPoGInit使得GNN在加深时性能得以提升，这代表了在解决深度相关挑战方面的重要进展，并突显了SP分析框架的有效性和正确性。
引用
@article{arxiv.2506.16790,
title = {Exploring and Improving Initialization for Deep Graph Neural Networks: A Signal Propagation Perspective},
author = {Senmiao Wang and Yupeng Chen and Yushun Zhang and Ruoyu Sun and Tian Ding},
journal= {arXiv preprint arXiv:2506.16790},
year = {2025}
}
备注
Published in TMLR (2025)