图神经网络分布式训练综述
分布式、并行与集群计算
2023-11-30 v3 机器学习
摘要
图神经网络（GNNs）因其能在图上进行有效学习，已被证明是广泛应用领域中强大的算法模型。为了将 GNN 训练扩展到大规模且不断增长的图上，最有前景的解决方案是分布式训练，即将训练工作负载分配到多个计算节点上。目前，与分布式 GNN 训练相关的研究体量异常庞大，伴随着极快的发表速度。此外，这些研究中报告的方法表现出显著的差异。这种情况给新手带来了巨大挑战，阻碍了他们全面理解分布式 GNN 训练中采用的工作流、计算模式、通信策略和优化技术。因此，迫切需要一项综述来提供对该领域的正确认识、分析和比较。在本文中，我们通过调查分布式 GNN 训练中使用的各种优化技术，对分布式 GNN 训练进行了全面综述。首先，根据工作流将分布式 GNN 训练分为几个类别。此外，介绍了它们的计算模式和通信模式，以及最近工作提出的优化技术。其次，还介绍了分布式 GNN 训练的软件框架和硬件平台，以便更深入地理解。第三，将分布式 GNN 训练与深度神经网络的分布式训练进行了比较，强调了分布式 GNN 训练的独特性。最后，讨论了该领域中有趣的问题和机遇。
引用
@article{arxiv.2211.05368,
title = {A Comprehensive Survey on Distributed Training of Graph Neural Networks},
author = {Haiyang Lin and Mingyu Yan and Xiaochun Ye and Dongrui Fan and Shirui Pan and Wenguang Chen and Yuan Xie},
journal= {arXiv preprint arXiv:2211.05368},
year = {2023}
}
备注
To Appear in Proceedings of the IEEE