利用 Ollivier-Ricci 曲率重新审视过度平滑与过度挤压问题
机器学习
2023-06-01 v3 机器学习
摘要
图神经网络（GNNs）已被证明本质上容易受到过度平滑和过度挤压问题的影响。这些问题通过限制 GNNs 在考虑远距离信息方面的有效性，阻碍了其对复杂图交互进行建模的能力。我们的研究揭示了局部图几何结构与这两个问题出现之间的关键联系，从而提供了一个利用 Ollivier-Ricci 曲率在局部尺度上研究它们的统一框架。具体而言，我们证明了过度平滑与正图曲率相关，而过度挤压与负图曲率相关。基于我们的理论，我们提出了批量 Ollivier-Ricci 流，这是一种新颖的重连算法，能够同时解决过度平滑和过度挤压问题。
引用
@article{arxiv.2211.15779,
title = {Revisiting Over-smoothing and Over-squashing Using Ollivier-Ricci Curvature},
author = {Khang Nguyen and Hieu Nong and Vinh Nguyen and Nhat Ho and Stanley Osher and Tan Nguyen},
journal= {arXiv preprint arXiv:2211.15779},
year = {2023}
}
备注
Accepted at ICML 2023; 24 pages, 4 figures