从马尔可夫链视角对图神经网络中过平滑问题的综合分析
机器学习
2023-03-02 v2
摘要
过平滑问题是发展深度图神经网络（GNN）的障碍。尽管已提出许多改进过平滑问题的方法，但对该问题仍缺乏全面的理解与结论。本文中，我们从马尔可夫链视角分析过平滑问题。我们关注 GNN 的消息传递，并首先建立 GNN 与图上马尔可夫链之间的联系。根据相应马尔可夫链是否为时间齐次的，将 GNN 分为算子一致与算子不一致两类。接下来我们将过平滑问题归因于任意初始分布收敛到平稳分布。基于此，我们证明尽管先前提出的方法能缓解过平滑，但这些方法无法避免过平滑问题。此外，我们给出了马尔可夫意义下两类 GNN 中过平滑问题的结论。一方面，算子一致 GNN 无法以指数速率避免过平滑。另一方面，算子不一致 GNN 并非总是过平滑。进一步，我们研究了时间非齐次马尔可夫链极限分布的存在性，由此导出算子不一致 GNN 避免过平滑的一个充分条件。最后，我们设计实验验证我们的发现。结果表明，我们提出的充分条件能有效改善算子不一致 GNN 中的过平滑问题并提升模型性能。
引用
@article{arxiv.2211.06605,
title = {Comprehensive Analysis of Over-smoothing in Graph Neural Networks from Markov Chains Perspective},
author = {Weichen Zhao and Chenguang Wang and Congying Han and Tiande Guo},
journal= {arXiv preprint arXiv:2211.06605},
year = {2023}
}