通过信息化权重初始化降低图神经网络中的过平滑问题
机器学习
2024-11-01 v1
摘要
本文将Kaiming初始化的思想推广到图神经网络（GNN），提出一种新方案（G-Init），以减少过平滑问题，在节点和图分类任务中取得优异结果。图神经网络通常使用为其他类型神经网络设计的方法进行初始化，忽视了图的底层拓扑结构。我们对信号在类卷积GNN中向前流动的方差以及梯度向后流动的方差进行理论分析。随后，我们将分析简化为GCN的情况，提出新的初始化方法。我们的结果表明，新方法（G-Init）在深层GNN中减少了过平滑，促进了其有效使用。实验验证支持我们的理论发现，证明了在无特征信息的无标记节点情景（即“冷启动”情景）中深层网络的优势。
引用
@article{arxiv.2410.23830,
title = {Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks},
author = {Dimitrios Kelesis and Dimitris Fotakis and Georgios Paliouras},
journal= {arXiv preprint arXiv:2410.23830},
year = {2024}
}