图卷积网络性能退化的理解与解决
机器学习
2021-09-14 v3 机器学习
摘要
图卷积网络（GCN）堆叠若干层，每层对图结构数据执行传播操作（PROP）与变换操作（TRAN）以学习节点表示。尽管强大，GCN 在模型加深时往往出现性能下降。以往工作聚焦于 PROP 来研究并缓解该问题，但 TRAN 的作用鲜有探究。本工作中，我们通过实验考察仅堆叠 TRAN 或仅堆叠 PROP 的效果，研究 GCN 的性能退化。我们发现 TRAN 对性能下降的贡献显著，甚至超过 PROP，且它们倾向于放大 GCN 中节点特征方差，导致我们所识别为引起性能下降关键因素的方差膨胀。受此观察启发，我们提出一种称为节点归一化（NodeNorm）的方差控制技术，其利用各节点自身标准差对其特征进行缩放。实验结果验证了 NodeNorm 在解决 GCN 性能退化上的有效性。具体而言，在需要深模型的情形下，它使深 GCN 优于浅层模型，并在 6 个基准数据集上取得与浅层模型相当的结果。NodeNorm 是通用插件，可良好泛化至其他 GNN 架构。代码公开于 https://github.com/miafei/NodeNorm。
引用
@article{arxiv.2006.07107,
title = {Understanding and Resolving Performance Degradation in Graph Convolutional Networks},
author = {Kuangqi Zhou and Yanfei Dong and Kaixin Wang and Wee Sun Lee and Bryan Hooi and Huan Xu and Jiashi Feng},
journal= {arXiv preprint arXiv:2006.07107},
year = {2021}
}
备注
CIKM 2021