面向GNN的自适应初始残差连接及其理论保证
机器学习
2025-11-11 v1
摘要
消息传递是图神经网络中的核心操作，每个节点通过聚合来自邻居的信息来更新其嵌入表示。然而，在深层架构中，这一过程常常导致表征性下降。一个流行的解决方案是使用残差连接，将当前(或初始)层的输入添加到聚合邻居信息中，以保留跨层的嵌入表示。跟随近期研究，我们探讨一种自适应残差方案，即不同节点具有不同的残差强度。我们证明了这一方法可防止过平滑化，特别是我们表明，嵌入表示的Dirichlet能量保持远离零。这不仅是自适应设置的第一个理论保证，还是在带有激活函数的静态残差连接(残差强度在节点间共享)的第一个理论保证。此外，广泛的实验表明，这种自适应方法在表现方面优于标准和最新消息传递机制，尤其是在异构图上。为改进该方法的时间复杂性，我们引入一种变体，其中残差强度不被学习，而是被设定为启发式值，该选择的性能与可学习版本相当良好。
关键词
引用
@article{arxiv.2511.06598,
title = {Adaptive Initial Residual Connections for GNNs with Theoretical Guarantees},
author = {Mohammad Shirzadi and Ali Safarpoor Dehkordi and Ahad N. Zehmakan},
journal= {arXiv preprint arXiv:2511.06598},
year = {2025}
}
备注
This is the full version of the paper accepted to the 40th Annual AAAI Conference on Artificial Intelligence (AAAI-2026)