中文

DeepRicci:用于缓解过挤压的自监督图结构与特征协同优化

机器学习 2024-01-24 v1

摘要

图神经网络(GNN)在图的学习与挖掘中展现出了强大的能力,而图结构学习(GSL)通过优化图结构在提升 GNN 性能方面发挥着重要作用。在现有文献中,大多数 GSL 方案要么主要侧重于在特定任务监督(即节点分类)下的结构优化,要么忽略了 GNN 自身的固有缺陷(例如过挤压),导致尽管设计复杂,性能仍为次优。鉴于这些局限性,我们提出研究自监督图结构与特征协同优化,以有效缓解典型 GNN 中的过挤压问题。在本文中,我们从黎曼几何中里奇曲率的全新视角出发,在此过程中我们面临着对里奇曲率进行建模、利用和计算的挑战。为了应对这些挑战,我们提出了一种自监督黎曼模型 DeepRicci。具体而言,我们引入了一个具有异构曲率的潜在黎曼空间来对各种里奇曲率进行建模,并提出了一种陀螺向量特征映射,以将里奇曲率应用于典型的 GNN。随后,我们通过不同几何视图间的几何对比学习来优化节点特征,并基于可微里奇曲率的新表述,通过逆向里奇流同时优化图结构。最后,在公开数据集上的大量实验表明了 DeepRicci 的优越性,以及逆向里奇流与过挤压之间的联系。我们的工作代码可在 https://github.com/RiemanGraph/ 获取。

关键词

引用

@article{arxiv.2401.12780,
  title  = {DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for Alleviating Over-squashing},
  author = {Li Sun and Zhenhao Huang and Hua Wu and Junda Ye and Hao Peng and Zhengtao Yu and Philip S. Yu},
  journal= {arXiv preprint arXiv:2401.12780},
  year   = {2024}
}

备注

Accepted by IEEE ICDM 2023, Full paper, 10 pages