缓解通用图卷积网络的过平滑问题
机器学习
2022-07-12 v5 机器学习
摘要
加深GCN深度有望增强表达能力，但已被证明会导致性能下降，尤其在节点分类上。其主要原因在于过平滑。过平滑问题使GCN输出趋向一个节点间区分信息有限的空间，导致表达能力薄弱。已有若干改进深度GCN架构的工作，但理论上仍不清楚这些改进能否缓解过平滑。本文首先理论分析通用GCN随深度增加的行为，包括通用GCN、带偏置GCN、ResGCN与APPNP。我们发现这些模型均由一普适过程刻画：所有节点收敛至一个长方体。基于此定理，提出DropEdge，通过在每训练轮次随机移除一定数量的边来缓解过平滑。理论上，DropEdge要么降低过平滑收敛速度，要么缓解由维度坍缩引起的信息损失。在模拟数据集上的实验可视化了不同GCN间过平滑差异。此外，在多个真实基准上的广泛实验表明DropEdge持续提升了多种浅层与深层GCN的性能。
引用
@article{arxiv.2008.09864,
title = {Tackling Over-Smoothing for General Graph Convolutional Networks},
author = {Wenbing Huang and Yu Rong and Tingyang Xu and Fuchun Sun and Junzhou Huang},
journal= {arXiv preprint arXiv:2008.09864},
year = {2022}
}
备注
Submitted to TPAMI, 15 pages