论采样在训练 GCN 中的重要性：更紧的分析与方差缩减
机器学习
2021-11-02 v2 人工智能
计算机视觉与模式识别
摘要
图卷积网络（GCNs）已在多种半监督节点分类任务中取得令人瞩目的实证进展。尽管取得巨大成功，在大型图上训练 GCN 仍受限于计算与内存问题。规避这些障碍的一条可行路径是基于采样的方法，即在每一层对节点子集进行采样。尽管近期研究已从实证上证明基于采样方法的有效性，这些工作缺乏现实设定下的理论收敛保证，且无法充分利用优化过程中演化参数的信息。本文中，我们描述并分析了一种通用的双重方差缩减框架，可在内存预算下加速任意采样方法。提出该框架的动机是对采样方法方差的细致分析，其中表明所引致的方差可分解为前向传播中的节点嵌入近似方差（零阶方差）与反向传播中的逐层梯度方差（一阶方差）。我们从理论上分析了所提框架的收敛性，并证明其享有 的收敛速率。我们以理论结果补充实证，将所提框架集成入不同采样方法并应用于不同大型真实图。
引用
@article{arxiv.2103.02696,
title = {On the Importance of Sampling in Training GCNs: Tighter Analysis and Variance Reduction},
author = {Weilin Cong and Morteza Ramezani and Mehrdad Mahdavi},
journal= {arXiv preprint arXiv:2103.02696},
year = {2021}
}