通过在紧致流形上的聚合来缓解过平滑问题
机器学习
2024-07-30 v1
摘要
图神经网络（GNNs）在 various applications 中取得了显著的成功。大多数 GNNs 通过聚合其邻居信息和特征变换来学习节点特征。然而，经过许多层后，节点特征会变得不可区分，导致性能下降：这是一个已知的重要限制，称为过平滑。在过去的工作中，采用 various techniques for addressing this issue，如对层级输出进行归一化和跳跃连接。在研究之后，我们发现现有工作中的信息聚合都是收缩聚合，其内在属性使得特征在经过许多层后必然收敛到同一单个点。为此，我们提出了紧致流形聚合方法（ACM），用紧致流形上的聚合替换现有的特征聚合，这种特殊类型的流形避免了收缩聚合。在本文中，我们理论分析了收缩聚合及其性质。我们还提供了广泛的经验评估，表明 ACM 能有效缓解过平滑问题并优于最前沿方法。代码可在 https://github.com/DongzhuoranZhou/ACM.git 查看。
引用
@article{arxiv.2407.19231,
title = {Alleviating Over-Smoothing via Aggregation over Compact Manifolds},
author = {Dongzhuoran Zhou and Hui Yang and Bo Xiong and Yue Ma and Evgeny Kharlamov},
journal= {arXiv preprint arXiv:2407.19231},
year = {2024}
}
备注
This paper has been accepted by PAKDD 2024 as an oral presentation