揭示基于注意力的图神经网络中的过平滑现象
机器学习
2024-06-05 v4 社会与信息网络
机器学习
摘要
图神经网络(GNN)中的过平滑是指网络深度增加导致节点表示趋于同质的现象。尽管已有工作证实图卷积网络(GCN)会以指数方式丧失表达能力，但图注意力机制能否缓解过平滑仍存在争议。本文通过严格的数学分析对此问题给出确定性答案：将基于注意力的GNN视为非线性时变动力系统，并借助非齐次矩阵乘积理论与联合谱半径的工具与技术。我们确立，与普遍看法相反，图注意力机制无法阻止过平滑，并以指数方式丧失表达能力。所提框架将现有关于对称GCN过平滑的结果扩展至显著更宽泛的GNN模型类别，包括随机游走GCN、图注意力网络(GAT)及(图)transformer。特别地，我们的分析涵盖了非对称、状态依赖和时变的聚合算子，以及多种常见非线性激活函数，如ReLU、LeakyReLU、GELU和SiLU。
引用
@article{arxiv.2305.16102,
title = {Demystifying Oversmoothing in Attention-Based Graph Neural Networks},
author = {Xinyi Wu and Amir Ajorlou and Zihui Wu and Ali Jadbabaie},
journal= {arXiv preprint arXiv:2305.16102},
year = {2024}
}
备注
NeurIPS 2023 spotlight. Fixed an error in the previous version; new results and remarks added