神经层谱扩散：从拓扑视角看 GNN 中的异配性与过平滑
机器学习
2023-01-09 v4 代数拓扑
摘要
元胞层谱（cellular sheaves）通过为节点和边分配向量空间与线性映射，赋予图一种“几何”结构。图神经网络（GNNs）隐式地假设图具有平凡的底层层谱。这一选择反映在图拉普拉斯算子的结构、相关扩散方程的性质以及离散化该方程的卷积模型的特征中。在本文中，我们利用元胞层谱理论表明，图的底层几何与 GNN 在异配（heterophilic）设定下的性能及其过平滑行为深度相关。通过考虑一个逐渐一般的层谱层次结构，我们研究了层谱扩散过程在无限时间极限下实现类别线性分离的能力如何扩展。同时，我们证明当层谱非平凡时，离散化参数化扩散过程比 GNN 对其渐近行为具有更强的控制力。在实践方面，我们研究了如何从数据中学习层谱。所得到的层谱扩散模型具有许多理想性质，解决了经典图扩散方程（及相应 GNN 模型）的局限性，并在异配设定下取得了有竞争力的结果。总体而言，我们的工作为 GNN 与代数拓扑之间提供了新的联系，并将引起两个领域的兴趣。
引用
@article{arxiv.2202.04579,
title = {Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs},
author = {Cristian Bodnar and Francesco Di Giovanni and Benjamin Paul Chamberlain and Pietro Liò and Michael M. Bronstein},
journal= {arXiv preprint arXiv:2202.04579},
year = {2023}
}
备注
Accepted to NeurIPS 2022. Contains 29 pages, 10 figures