从拓扑视角度量并缓解图神经网络的过平滑问题
机器学习
2019-11-19 v2 社会与信息网络
机器学习
摘要
图神经网络（GNNs）在广泛的基于图的任务上取得了令人瞩目的性能。尽管成功，GNNs 的一个严重局限是过平滑问题（不同类别节点的表示不可区分）。本文对 GNNs 的过平滑问题进行了系统定量的研究。首先，我们引入两个定量指标 MAD 和 MADGap，分别度量图节点表示的平滑度与过平滑度。接着，我们验证平滑是 GNNs 的本质，而导致过平滑的关键因素是节点所接收消息的信息噪声比低，这部分由图拓扑决定。最后，我们从拓扑视角提出两种缓解过平滑问题的方法：（1）MADReg，将基于 MADGap 的正则化项加入训练目标；（2）AdaGraph，基于模型预测优化图拓扑。在 7 个广泛使用图数据集与 10 个典型 GNN 模型上的大量实验表明，这两种所提方法能有效缓解过平滑问题，从而提升各类 GNN 模型的性能。
引用
@article{arxiv.1909.03211,
title = {Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View},
author = {Deli Chen and Yankai Lin and Wei Li and Peng Li and Jie Zhou and Xu Sun},
journal= {arXiv preprint arXiv:1909.03211},
year = {2019}
}
备注
Accepted by AAAI 2020. This complete version contains the appendix