中文

mHC-GNN:用于图神经网络的流形约束超连接

机器学习 2026-01-07 v1 人工智能

摘要

图神经网络(GNN)在深层架构中 suffer from over-smoothing,并且其表达能力受限于1-Weisfeiler-Lehman(1-WL)测试。我们将最近为Transformer提出的Manifold-Constrained Hyper-Connections(mHC)方法引入到图神经网络。我们的方法mHC-GNN通过n条平行流扩展节点表示,并通过Sinkhorn-Knopp归一化将流混合矩阵约束到Birkhoff单极矩阵。我们证明了mHC-GNN的过平滑率为(1-γ)^{L/n},而标准GNN的过平滑率为(1-γ)^L,从而呈指数级减缓。实验表明,mHC-GNN能够区分超越1-WL的图。在10个数据集上进行实验,结果显示4种GNN架构都获得了一致的改进。深度实验从2层到128层发现,标准GNN在超过16层后会退化为接近随机性能,而mHC-GNN即使在128层也保持超过74%的准确率,深度极端情况下的改进幅度超过50个百分点。消融实验确认,流形约束是必需的:移除后性能会下降最高可达82%。代码已公开available at https://github.com/smlab-niser/mhc-gnn。

关键词

引用

@article{arxiv.2601.02451,
  title  = {mHC-GNN: Manifold-Constrained Hyper-Connections for Graph Neural Networks},
  author = {Subhankar Mishra},
  journal= {arXiv preprint arXiv:2601.02451},
  year   = {2026}
}