从算子半群理论理解基于扩散的图神经网络中的过平滑
机器学习
2025-03-25 v2
摘要
本文对基于扩散的图神经网络中的过平滑问题进行了分析研究。我们超越了基于随机游走分析或粒子系统的现有方法,通过算子半群理论来处理这个问题。这个理论框架使我们能够严格证明过平滑与扩散算子的遍历性内在相关。依靠半群方法,我们可以定量分析图扩散的动态,并通过算子的遍历性和不变测度给出平滑特征的具体数学形式,这改进了先前仅显示过平滑存在性的工作。这一发现进一步提出了一个通用且温和的遍历性破缺条件,涵盖了先前提出的各种具体解决方案,从而为缓解基于扩散的GNN中的过平滑提供了一种更通用且理论上有依据的方法。此外,我们为我们的理论提供了概率解释,与先前的工作建立了联系,拓宽了理论视野。我们的实验结果表明,这个遍历性破缺项有效地缓解了由Dirichlet能量度量的过平滑,同时提高了节点分类任务的性能。
引用
@article{arxiv.2402.15326,
title = {Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective of Operator Semigroup Theory},
author = {Weichen Zhao and Chenguang Wang and Xinyan Wang and Congying Han and Tiande Guo and Tianshu Yu},
journal= {arXiv preprint arXiv:2402.15326},
year = {2025}
}
备注
Accepted by KDD 2025