深度图神经网络中过平滑与过压缩的权衡
机器学习
2023-08-14 v2 人工智能
摘要
图神经网络（GNNs）已在各种计算机科学应用中取得成功，然而尽管深度学习在其他领域获得成功，深度 GNN 的表现却不如其浅层对应模型。过平滑与过压缩是堆叠图卷积层时的关键挑战，阻碍深度表示学习和来自远距离节点的信息传播。我们的工作揭示了过平滑与过压缩本质上与图 Laplacian 的谱隙相关，导致这两个问题之间不可避免的权衡，因为它们无法同时缓解。为达成合适的折中，我们提出添加和移除边作为一种可行方法。我们引入了随机 Jost 和 Liu 曲率重连（SJLR）算法，与先前基于曲率的方法相比，其计算高效并保留基本性质。不同于现有方法，SJLR 在 GNN 训练期间执行边的添加与移除，同时在测试期间保持图不变。综合比较展示了 SJLR 在解决过平滑与过压缩方面的竞争性能。
引用
@article{arxiv.2212.02374,
title = {On the Trade-off between Over-smoothing and Over-squashing in Deep Graph Neural Networks},
author = {Jhony H. Giraldo and Konstantinos Skianis and Thierry Bouwmans and Fragkiskos D. Malliaros},
journal= {arXiv preprint arXiv:2212.02374},
year = {2023}
}
备注
This paper has been accepted for publication at the 32nd ACM International Conference on Information and Knowledge Management (CIKM) 2023