SSFG：通过对特征与梯度随机缩放正则化图卷积网络
机器学习
2022-07-11 v2 计算机视觉与模式识别
摘要
图卷积网络已成功应用于各种基于图的任务。在典型的图卷积层中，节点特征通过聚合邻域信息进行更新。重复应用图卷积会导致过平滑问题，即深层节点特征收敛到相似的值。先前的研究表明，过平滑是限制图卷积网络性能的主要问题之一。本文提出一种随机正则化方法来解决过平滑问题。在所提方法中，我们在训练过程中通过一个从概率分布中采样得到的因子对特征与梯度进行随机缩放（SSFG）。通过显式施加缩放因子来打破特征收敛，过平滑问题得以缓解。我们表明，在梯度层面施加随机缩放与在特征层面施加随机缩放互补，可提升整体性能。我们的方法不增加可训练参数的数量。当与 ReLU 一起使用时，我们的 SSFG 可视为一种随机 ReLU 激活函数。我们在三类常用图网络上实验验证了我们的 SSFG 正则化方法。在四个基于图的任务、七个基准数据集上的大量实验结果表明，我们的 SSFG 正则化能有效提升基线图网络的整体性能。
引用
@article{arxiv.2102.10338,
title = {SSFG: Stochastically Scaling Features and Gradients for Regularizing Graph Convolutional Networks},
author = {Haimin Zhang and Min Xu and Guoqiang Zhang and Kenta Niwa},
journal= {arXiv preprint arXiv:2102.10338},
year = {2022}
}