深度神经图谱浴
机器学习
2026-05-26 v2
摘要
深度图神经网络(GNN)对于捕捉图结构数据的复杂依赖关系至关重要。然而, 将GNN扩展到深度仍具有挑战, 因为堆叠层导致特征表示坍缩和敏感性下降。虽然神经图谱浴(NSD)提供了强大的理论保证以防止此类坍缩, 但这些保证难以在实践中实现:随着深度增加, 图谱拉普拉斯的不一致信号消失, 限制了更深层的贡献。我们识别了阻碍NSD在深度上有效性的机制, 并提出了深度神经图谱浴(DNSD), 通过替换图谱邻接算子来维持跨层信息丰富信号。这一方法伴随归一化、奇异非线性和门控。为提供性能改进的原则解释, 我们对比图谱注意力机制, 说明DNSD将标量注意力得分替换为矩阵值边缘函数, 并对节点表示进行归一化而非注意力得分。我们在合成长程数据集上实现了有效深度聚合, 在真实基准数据集上持续超越GNN和NSD基线, 最高准确率提升30pp。这些结果将图谱基座模型定位为图谱基础模型的有前景的构建模块, 通过支持有效的深度架构。
引用
@article{arxiv.2605.19021,
title = {Deep Neural Sheaf Diffusion},
author = {Rémi Bourgerie and Šarūnas Girdzijauskas and Viktoria Fodor},
journal= {arXiv preprint arXiv:2605.19021},
year = {2026}
}
备注
Accepted at the ICML 2026 Workshop on Graph Foundation Models (GFM@ICML 2026). Code available at https://github.com/remibourgerie/deep-neural-sheaf-diffusion