具有可证明保证的最小方差采样用于图神经网络快速训练
机器学习
2021-09-07 v2 机器学习
摘要
采样方法（如节点级、层级的或子图采样）已成为加速大规模图神经网络（GNNs）训练不可或缺的策略。然而，现有采样方法大多基于图结构信息而忽略优化的动态性，导致随机梯度估计的高方差。在极大规模图中，高方差问题会非常显著，造成收敛缓慢和泛化性差。本文从理论上分析了采样方法的方差，并表明由于经验风险的复合结构，任何采样方法的方差可分解为前向阶段的嵌入近似方差和后向阶段的随机梯度方差，这要求同时缓解两类方差以获得更快收敛速率。我们提出了一种解耦的方差缩减策略，利用（近似）梯度信息自适应地以最小方差采样节点，并显式降低由嵌入近似引入的方差。我们从理论和实验上表明，所提方法即使使用更小的mini-batch尺寸，也比现有方法具有更快的收敛速率和更好的泛化性。
引用
@article{arxiv.2006.13866,
title = {Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks},
author = {Weilin Cong and Rana Forsati and Mahmut Kandemir and Mehrdad Mahdavi},
journal= {arXiv preprint arXiv:2006.13866},
year = {2021}
}