重新审视深度GCN中的过平滑现象
机器学习
2020-06-19 v5 机器学习
摘要
过平滑一直被假定为深度图卷积网络(GCNs)性能下降的主要原因。在本文中,我们提出一种新的观点:深度GCN实际上能在训练过程中学习抗过平滑。本工作将标准GCN架构解释为多层感知机(MLP)与图正则化的逐层集成。我们分析并得出结论:训练前深度GCN的最终表示确实过平滑,但其在训练过程中学习抗过平滑。基于该结论,本文进一步设计了一个廉价而有效的技巧以改进GCN训练。我们在三个引文网络上验证了结论并评估了该技巧,进一步提供了关于GCN中邻域聚合的见解。
引用
@article{arxiv.2003.13663,
title = {Revisiting Over-smoothing in Deep GCNs},
author = {Chaoqi Yang and Ruijie Wang and Shuochao Yao and Shengzhong Liu and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2003.13663},
year = {2020}
}
备注
19 pages