DRGCN：面向深度图卷积网络的动态演化初始残差
机器学习
2023-02-13 v1
摘要
图卷积网络（GCNs）已被证明对处理各类图相关任务非常实用。由于深度 GCNs 相较浅层网络具有潜在更优性能，研究深度 GCNs 引发了相当多的研究兴趣。然而，单纯增加网络深度反而会因过平滑问题损害性能。添加残差连接被证明对训练深度卷积神经网络（深度 CNNs）有效，但应用于深度 GCNs 时并非易事。近期工作提出一种初始残差机制，确实缓解了深度 GCNs 中的过平滑问题。但根据我们的研究，其算法对不同数据集相当敏感。在其设定中，残差应用方式的个性化（动态）与相关演化（演化）被忽略。为此，我们提出一种称为动态演化初始残差图卷积网络（DRGCN）的新模型。首先，我们为每个节点使用动态模块自适应地从初始表示中获取信息。其次，我们使用演化模块建模层间残差演化模式。实验结果表明，我们的模型有效缓解了深度 GCNs 中的过平滑问题，并在多个基准数据集上优于最优（SOTA）方法。此外，我们开发了 DRGCN 的小批量版本，可应用于大规模数据。结合若干公平训练技术，我们的模型在 Open Graph Benchmark（OGB）的大规模 ogbn-arxiv 数据集上取得了新的 SOTA 结果。我们的可复现代码已在 GitHub 上发布。
引用
@article{arxiv.2302.05083,
title = {DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks},
author = {Lei Zhang and Xiaodong Yan and Jianshan He and Ruopeng Li and Wei Chu},
journal= {arXiv preprint arXiv:2302.05083},
year = {2023}
}
备注
8 pages, Accept by Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI 2023)