重访AllReduce的时间成本模型
分布式、并行与集群计算
2024-09-09 v1
摘要
AllReduce是一种重要且流行的集合通信原语,在分布式机器学习和高性能计算等领域广泛应用。为了设计、分析和选择AllReduce的各种算法和实现,时间成本模型起关键作用,其主要模型为(α,β,γ)模型。本文重访该模型,并指出它无法很好地描述现代集群中AllReduce的时间成本;因此必须更新。我们进行大量测量,识别出两种额外贡献时间成本的术语:内入术语和内存访问术语。我们在(α,β,γ)模型中加入这两个术语,并得到GenModel。使用GenModel,我们发现AllReduce算法的两种新最优性,并证明它们不能同时实现。最后,在两种新最优性之间取得平衡,我们设计了针对树形拓扑的AllReduce计划生成算法GenTree。在64个GPU的真实测试台上的实验表明,GenTree相对于NCCL可实现1.22倍到1.65倍的加速。大规模仿真也确认,在两种新术语占主导的情形下,GenTree可将当前最先进的AllReduce算法提高1.2倍到7.4倍。
引用
@article{arxiv.2409.04202,
title = {Revisiting the Time Cost Model of AllReduce},
author = {Dian Xiong and Li Chen and Youhe Jiang and Dan Li and Shuai Wang and Songtao Wang},
journal= {arXiv preprint arXiv:2409.04202},
year = {2024}
}