雪花假说：以“一节点一感受野”训练深度图神经网络
机器学习
2023-08-22 v1 人工智能
摘要
尽管图神经网络(GNN)在图表示学习任务中展现出可观前景，但随着模型加深，GNN 主要面临过拟合与过平滑的显著问题，如同计算机视觉领域的模型。本文对更深 GNN 的研究轨迹进行系统研究。我们发现当前深度 GNN 的成功主要源于(I) 采纳来自 CNN 的创新如残差/跳跃连接，或 (II) 定制聚合算法如 DropEdge。但这些算法常缺乏内在可解释性，且对同层所有节点无差别处理，从而未能捕捉各节点间的细微差异。为此，我们引入雪花假说——支撑“一节点一感受野”概念的新范式。该假说受每片雪花独特个性图案启发，提出 GNN 中节点感受野的相应独特性。我们采用最简梯度与节点级余弦距离为指导原则，调节各节点的聚合深度，并开展综合实验包括：(1) 不同训练方案；(2) 多种浅层与深层 GNN 骨干；(3) 多基准上不同层数（8、16、32、64）（含百万节点稠密图的六图）；(4) 与不同聚合策略比较。观测结果表明我们的假说可作为多种任务的通用算子，并在深度 GNN 上展现巨大潜力。它可应用于各类 GNN 框架，在深层运行时增强有效性，并以可解释可泛化方式指导最优网络深度选择。
引用
@article{arxiv.2308.10051,
title = {The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field},
author = {Kun Wang and Guohao Li and Shilong Wang and Guibin Zhang and Kai Wang and Yang You and Xiaojiang Peng and Yuxuan Liang and Yang Wang},
journal= {arXiv preprint arXiv:2308.10051},
year = {2023}
}