mHC-GNN:用于图神经网络的流形约束超连接
机器学习
2026-01-07 v1 人工智能
摘要
图神经网络(GNN)在深层架构中 suffer from over-smoothing,并且其表达能力受限于1-Weisfeiler-Lehman(1-WL)测试。我们将最近为Transformer提出的Manifold-Constrained Hyper-Connections(mHC)方法引入到图神经网络。我们的方法mHC-GNN通过n条平行流扩展节点表示,并通过Sinkhorn-Knopp归一化将流混合矩阵约束到Birkhoff单极矩阵。我们证明了mHC-GNN的过平滑率为(1-γ)^{L/n},而标准GNN的过平滑率为(1-γ)^L,从而呈指数级减缓。实验表明,mHC-GNN能够区分超越1-WL的图。在10个数据集上进行实验,结果显示4种GNN架构都获得了一致的改进。深度实验从2层到128层发现,标准GNN在超过16层后会退化为接近随机性能,而mHC-GNN即使在128层也保持超过74%的准确率,深度极端情况下的改进幅度超过50个百分点。消融实验确认,流形约束是必需的:移除后性能会下降最高可达82%。代码已公开available at https://github.com/smlab-niser/mhc-gnn。
引用
@article{arxiv.2601.02451,
title = {mHC-GNN: Manifold-Constrained Hyper-Connections for Graph Neural Networks},
author = {Subhankar Mishra},
journal= {arXiv preprint arXiv:2601.02451},
year = {2026}
}