用于训练深层大图卷积网络的层依赖重要性采样
机器学习
2019-11-19 v1 社会与信息网络
机器学习
摘要
图卷积网络（GCNs）因其在不同图任务和不同领域的成功应用而近期受到广泛关注。然而，对大图训练 GCN 仍是一项挑战。原始的全批量 GCN 训练需要在每一 GCN 层计算图中所有节点的表示，这带来了高昂的计算与内存成本。为缓解该问题，已有若干基于采样的方法被提出以在节点子集上训练 GCN。其中，节点级邻居采样方法递归采样固定数量的邻居节点，因此其计算成本受邻居规模指数增长之累；而层级重要性采样方法丢弃了邻居依赖约束，因此跨层采样的节点存在连接稀疏问题。为应对上述两个问题，我们提出了一种称为 LAyer-Dependent ImportancE Sampling（LADIES）的新颖有效采样算法。基于上层采样节点，LADIES 选取其邻域节点，构造二部子图并相应计算重要性概率。然后，按计算的概率采样固定数量节点，并逐层递归执行该过程以构造整个计算图。我们从理论与实验上证明，所提采样算法在时间与内存成本上均优于先前的采样方法。此外，由于其随机性，LADIES 被证明比原始全批量 GCN 具有更好的泛化精度。
引用
@article{arxiv.1911.07323,
title = {Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks},
author = {Difan Zou and Ziniu Hu and Yewen Wang and Song Jiang and Yizhou Sun and Quanquan Gu},
journal= {arXiv preprint arXiv:1911.07323},
year = {2019}
}
备注
Published in NeurIPS 2019