具有 ReLU 激活的图神经网络中初始化与架构选择的原则
机器学习
2023-06-21 v1 人工智能
机器学习
高能物理 - 实验
概率论
摘要
本文推导并验证了具有 ReLU 激活的有限宽度图神经网络（GNNs）中初始化与架构选择的三个原则。首先，我们从理论上推导了著名的 He 初始化在 ReLU GNNs 上的本质唯一推广。我们的初始化方案保证了在初始化时网络输出与梯度的平均尺度保持为 O(1)。其次，我们证明了在有限宽度普通 ReLU GNNs 中，当使用固定聚合算子时，无论初始化如何，过平滑在较大深度时都不可避免。接着我们证明，使用由固定聚合算子与恒等映射插值得到的残差聚合算子，可在初始化时从理论上缓解过平滑。最后，我们展示了使用带 fixup 型初始化的残差连接这一常见做法，可在初始化时从理论上避免末层特征的相关性坍缩。通过消融实验，我们发现在前向传播中使用正确的初始化、残差聚合算子与残差连接，能显著且可靠地加速深度 ReLU GNNs 在多种任务上的早期训练动态。
引用
@article{arxiv.2306.11668,
title = {Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations},
author = {Gage DeZoort and Boris Hanin},
journal= {arXiv preprint arXiv:2306.11668},
year = {2023}
}
备注
Comments appreciated