通用深度GNN：从路径分解视角重新审视GNN中的残差连接以缓解过平滑
机器学习
2022-05-31 v1 人工智能
摘要
GNN的性能随深度增加因过平滑而退化。在所有缓解过平滑的尝试中，残差连接因其简洁性成为有前景的方法之一。然而，近期研究表明带残差连接的GNN仅略微减缓退化。残差连接在GNN中失效的原因仍未知。本文中，我们从新颖的路径分解视角考察带残差连接GNN的前向与反向行为。我们发现残差连接路径的二项分布中中位长度路径的递归聚合主导了输出表示，导致GNN加深时出现过平滑。纠缠的传播与权重矩阵引起梯度平滑，并阻碍带残差连接的GNN优化至恒等映射。基于这些发现，我们提出通用深度GNN(UDGNN)框架，含冷启动自适应残差连接(DRIVE)与前馈模块。大量实验证明了我们方法的有效性，其通过简单堆叠标准GNN在非平滑异配数据集上取得了最先进的(state-of-the-art)结果。
引用
@article{arxiv.2205.15127,
title = {Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path Decomposition Perspective for Preventing the Over-smoothing},
author = {Jie Chen and Weiqi Liu and Zhizhong Huang and Junbin Gao and Junping Zhang and Jian Pu},
journal= {arXiv preprint arXiv:2205.15127},
year = {2022}
}