通过在线动态嵌入预测缓解陈旧性的分布式GNN训练
机器学习
2023-12-12 v2
摘要
尽管图神经网络（GNNs）近期取得了成功，但由于邻居爆炸问题，在大规模图上训练 GNNs 仍具挑战性。作为应对，分布式计算通过利用丰富的计算资源（如 GPU）成为一种有前景的解决方案。然而，图数据的节点依赖性增加了在分布式 GNN 训练中达成高并发的难度，并承受巨大的通信开销。为此，历史值近似被视为一类有前景的分布式训练技术。它利用离线内存缓存历史信息（如节点嵌入）作为精确值的可承受近似，从而实现高并发。然而，此类收益以引入过时训练信息为代价，导致陈旧性、不精确与收敛问题。为克服这些挑战，本文提出 SAT（Staleness-Alleviated Training，陈旧性缓解训练），一种新颖且可扩展的分布式 GNN 训练框架，可自适应地降低嵌入陈旧性。SAT 的核心思想是将 GNN 的嵌入演化建模为时序图，并据此构建模型以预测未来嵌入，从而有效缓解缓存历史嵌入的陈旧性。我们提出一种在线算法交替训练嵌入预测器与分布式 GNN，并进一步给出收敛性分析。实证上，我们证明 SAT 能有效降低嵌入陈旧性，从而在多个大规模图数据集上取得更优性能与收敛速度。
引用
@article{arxiv.2308.13466,
title = {Staleness-Alleviated Distributed GNN Training via Online Dynamic-Embedding Prediction},
author = {Guangji Bai and Ziyang Yu and Zheng Chai and Yue Cheng and Liang Zhao},
journal= {arXiv preprint arXiv:2308.13466},
year = {2023}
}
备注
Preprint. Do not distribute