面向分布式全图 GNN 训练的自适应消息量化与并行化
机器学习
2023-06-05 v1 人工智能
分布式、并行与集群计算
摘要
在大规模图上进行图神经网络（GNNs）的分布式全图训练对带宽要求高且耗时。在训练图中，跨设备频繁交换节点特征、嵌入和嵌入梯度（均称为消息）给具有其他设备上的远程邻居的节点（边缘节点）带来显著的通信开销，并给无远程邻居的节点（中心节点）带来不必要的等待时间。本文提出一个高效的 GNN 训练系统 AdaQP，以加速分布式全图 GNN 训练。我们将跨设备传输的消息随机量化为低精度整数以减少通信流量，并倡导边缘节点与中心节点之间的通信-计算并行化。我们提供理论分析以证明快速的训练收敛性（速率为 O(T^{-1})，其中 T 为训练轮总数），并基于该分析设计了针对每条消息的自适应量化位宽分配方案，旨在训练收敛性与效率之间取得良好权衡。在主流图数据集上的大量实验表明，AdaQP 大幅提升了分布式全图训练的吞吐量（最高 3.01 倍），且精度下降可忽略（至多 0.30%）或在多数情况下甚至精度提升（最高 0.19%），显示出相对于最先进工作的显著优势。
引用
@article{arxiv.2306.01381,
title = {Adaptive Message Quantization and Parallelization for Distributed Full-graph GNN Training},
author = {Borui Wan and Juntao Zhao and Chuan Wu},
journal= {arXiv preprint arXiv:2306.01381},
year = {2023}
}