SkipNode：缓解深度图卷积网络性能退化
机器学习
2024-01-24 v4
摘要
图卷积网络（GCNs）在模型加深时会出现性能退化。然而，早期工作仅将性能退化归因于过平滑。在本文中，我们进行理论与实验分析以探究深度 GCNs 中性能退化的根本原因：过平滑与梯度消失具有相互强化效应，导致深度 GCNs 中性能更快速地恶化。另一方面，现有的抗过平滑方法均执行至模型深度的全卷积。它们不能很好地抵抗因模型深度增加带来的过平滑指数级收敛。在这项工作中，我们提出一个简单而有效的即插即用模块 Skipnode，以克服深度 GCNs 的性能退化。它在每个卷积层中对图节点采样以跳过卷积操作。如此，过平滑与梯度消失均可被有效抑制，因为（1）并非所有节点特征都通过全部层传播，且（2）梯度可通过“被跳过”的节点直接回传。我们提供理论分析与经验评估以证明 Skipnode 的效能及其相对于 SOTA 基线的优越性。
引用
@article{arxiv.2112.11628,
title = {SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks},
author = {Weigang Lu and Yibing Zhan and Binbin Lin and Ziyu Guan and Liu Liu and Baosheng Yu and Wei Zhao and Yaming Yang and Dacheng Tao},
journal= {arXiv preprint arXiv:2112.11628},
year = {2024}
}
备注
Under Review