基于顶点切分的无通信分布式图神经网络训练
机器学习
2023-08-08 v1
摘要
在包含数十亿节点和边的真实世界图上训练图神经网络（GNNs）极具挑战性，主要原因在于存储图及其中间节点与边特征所需的内存巨大，且迫切需要加速训练过程。一种常见的加速方法是将图划分为许多较小的子图，随后将这些子图分布到一台或多台机器上的多个 GPU 中并行处理。然而，现有的分布式方法需要频繁且大量的跨 GPU 通信，导致显著的时间开销并使其可扩展性逐渐下降。本文提出 CoFree-GNN，一种新颖的分布式 GNN 训练框架，通过实现无通信训练显著加速训练过程。该框架采用顶点切分（Vertex Cut）划分方式，即不通过切断分区之间的边来划分图，而是对边进行划分并复制节点信息以保留图结构。此外，该框架引入重加权机制来处理由节点复制引起的图分布失真，从而保持较高的模型精度。我们还提出一种改进的 DropEdge 技术以进一步加速训练过程。在真实网络上的大量实验表明，与现有最先进的 GNN 训练方法相比，CoFree-GNN 可将 GNN 训练过程加速至多 10 倍。
引用
@article{arxiv.2308.03209,
title = {Communication-Free Distributed GNN Training with Vertex Cut},
author = {Kaidi Cao and Rui Deng and Shirley Wu and Edward W Huang and Karthik Subbian and Jure Leskovec},
journal= {arXiv preprint arXiv:2308.03209},
year = {2023}
}