GraphNorm：加速图神经网络训练的一种原则性方法
机器学习
2021-06-14 v3 最优化与控制
机器学习
摘要
归一化已知有助于深度神经网络的优化。有趣的是，不同的架构需要专门的归一化方法。在本文中，我们研究对图神经网络（GNNs）有效的归一化方式。首先，我们将其他领域的现有方法适配并评估于 GNNs。与 BatchNorm 和 LayerNorm 相比，使用 InstanceNorm 实现了更快的收敛。我们通过表明 InstanceNorm 充当 GNNs 的预条件子来解释这一现象，但由于图数据集中严重的批噪声，这种预条件效应在 BatchNorm 下较弱。其次，我们表明 InstanceNorm 中的平移操作导致 GNNs 对高度规则图的表达能力退化。我们通过提出带可学习平移的 GraphNorm 来解决该问题。经验上，使用 GraphNorm 的 GNNs 比其他使用其他归一化的 GNNs 收敛更快。GraphNorm 还提升了 GNNs 的泛化能力，在图分类基准上取得更好性能。
引用
@article{arxiv.2009.03294,
title = {GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training},
author = {Tianle Cai and Shengjie Luo and Keyulu Xu and Di He and Tie-Yan Liu and Liwei Wang},
journal= {arXiv preprint arXiv:2009.03294},
year = {2021}
}
备注
ICML 2021, Code: https://github.com/lsj2408/GraphNorm