中文

神经丝扩散中的过平滑:表示退化视角

机器学习 2026-05-13 v1 人工智能 表示论

摘要

神经丝扩散 (NSD) 通过将标量图 Laplacian 替换为丝绸 Laplacian,其所学习的限制映射定义任务适应的几何,从而推广了基于扩散的图神经网络。尽管 NSD 的扩散极限已知为全局节理的空间,但其这种和谐空间的表示论结构仍 largely 隐含。我们通过将图上的细胞丝绸与关联幂 quiver 的表示建立对应关系,发展了 NSD 的 quiver-论解释。在这种对应关系下,所学习的丝绸几何成为有限维表示空间中的一个点。我们表明,底层幂 quiver 表示的直和分解可导致扩散极限中达到的和谐空间的分解。这就为表示退化提供了代数解释:所学习的丝绸可能向其全局节理难以保留判别性信息的低复杂度求和分解趋于崩溃。建立在此观点之上,我们将丝绸扩散与来自几何不变性理论的稳定性和矩图原则相联系。我们引入基于矩图的正则化器,可偏向限制映射以实现平衡的表示几何,同时识别等径结构中的结构性阻塞:当 dv=ded_v = d_e 时,可学习的稳定参数的可接受性会将平凡的全部对象求和分解置于稳定墙上。非均匀 stalk 维度可消除此阻塞,使自适应稳定性具有意义。heterophilic benchmark 上的实验与此机制一致:破坏 stalk 对称性可降低方差或改善验证行为,适应性稳定性在所选矩形设置中更有效。总体而言,我们的框架将过平滑重新定义为表示几何下所学习丝绸扩散中的退化现象。

关键词

引用

@article{arxiv.2605.11178,
  title  = {Oversmoothing as Representation Degeneracy in Neural Sheaf Diffusion},
  author = {Arif Dönmez and Axel Mosig and Ellen Fritsche and Katharina Koch},
  journal= {arXiv preprint arXiv:2605.11178},
  year   = {2026}
}

备注

15 pages, Comments welcome