分析嵌入范数与奇异值对图神经网络过平滑影响的效应
机器学习
2025-10-08 v1
摘要
本文研究导致深层图神经网络（GNN）过平滑现象的影响因素。具体而言，我们的分析基于一种新度量标准（平均平方距离 - ）来量化过平滑的程度。我们推导了 的层级上界，这些上界汇聚后产生全局的上界和下界。基于对过平滑的量化，我们进一步分析了两种模型属性的重要性：即生成节点嵌入的范数，以及权矩阵的最大与最小奇异值。建立在理论分析所得洞见基础上，我们表明随着可训练权矩阵数量和邻接矩阵数量的增加，过平滑现象会加剧。我们还利用推导的 层级上界，提出一种解耦邻接层数（即邻接深度）与权矩阵数量的方法。具体而言，我们引入 G-Reg 一种正则化方案以提高上界，并通过大量实验表明此举可提升节点分类准确率，在深层网络中实现鲁棒性。我们进一步表明，通过减少深层网络中的过平滑，可在某些任务中获得优于浅层网络的更好结果。具体而言，我们针对“冷启动”场景（即无标签节点无特征信息）进行实验。最后，我们通过 上界实证地展示了感受野大小（即权矩阵数量）与性能之间的权衡，通过在少数可训练层分布邻接跳数来实现这一目标，避免参数化的过度或不足。
引用
@article{arxiv.2510.06066,
title = {Analyzing the Effect of Embedding Norms and Singular Values to Oversmoothing in Graph Neural Networks},
author = {Dimitrios Kelesis and Dimitris Fotakis and Georgios Paliouras},
journal= {arXiv preprint arXiv:2510.06066},
year = {2025}
}