Deeper-GXX：深化任意图神经网络
机器学习
2022-10-26 v3
摘要
近来，受实际应用驱动，图神经网络 (GNNs) 的一个主要研究方向是探索更深的结构。例如，图连通性并不总是与标签分布一致（即某些节点的最近邻并不来自同一类别）。在这种情况下，GNNs 需要堆叠更多层，以便在更长路径中找到同类邻居以捕获类别判别信息。然而，两个主要问题阻碍了更深的 GNNs 获得令人满意的性能，即梯度消失和过平滑。一方面，堆叠层使得神经网络难以训练，因为前几层的梯度会消失。此外，当仅解决 GNNs 中的梯度消失时，我们发现了遮蔽邻居效应（即不适当地堆叠层会扭曲图的非独立同分布信息并降低 GNNs 的性能）。另一方面，更深的 GNNs 从公共邻居聚合了更多信息，使得单个节点表示共享更多重叠特征，从而导致最终输出表示缺乏判别力（即过度平滑）。在本文中，我们首次同时解决这两个问题以实现更深的 GNNs，并提出 Deeper-GXX，其由权重衰减图残差连接模块 (WDG-ResNet) 和拓扑引导图对比损失 (TGCL) 组成。在真实世界数据集上的大量实验表明，Deeper-GXX 优于最先进的更深基线方法。
引用
@article{arxiv.2110.13798,
title = {Deeper-GXX: Deepening Arbitrary GNNs},
author = {Lecheng Zheng and Dongqi Fu and Ross Maciejewski and Jingrui He},
journal= {arXiv preprint arXiv:2110.13798},
year = {2022}
}