基于社区的图卷积网络分层分布式训练
机器学习
2021-12-20 v1
摘要
图卷积网络（GCN）已成功应用于许多基于图的任务。然而，训练大规模 GCN 模型仍具挑战性：由于 GCN 架构的节点依赖与层依赖，训练过程需要耗费大量计算时间与内存。本文提出一种基于交替方向乘子法（ADMM）的并行分布式 GCN 训练算法，以同时应对这两大挑战。我们首先将 GCN 层拆分为相互独立的块，从而实现层并行。此外，我们通过将图划分为若干稠密社区来降低节点依赖，使得每个社区可由一个智能体并行训练。最后，我们给出了基于社区的 ADMM 算法中所有子问题的求解方案。初步结果表明，与最先进的方法相比，我们提出的基于社区的 ADMM 训练算法可实现三倍以上的加速，同时取得最佳性能。
引用
@article{arxiv.2112.09335,
title = {Community-based Layerwise Distributed Training of Graph Convolutional Networks},
author = {Hongyi Li and Junxiang Wang and Yongchao Wang and Yue Cheng and Liang Zhao},
journal= {arXiv preprint arXiv:2112.09335},
year = {2021}
}
备注
accepted by NeurIPS 2021 OPT workshop