Swing：通过捷径环实现更高带宽的 Allreduce
分布式、并行与集群计算
2024-03-06 v2 机器学习
网络与互联网体系结构
性能
摘要
Allreduce 集体操作在分布式系统上运行的工作负载运行时中占很大比例。决定其性能的一个因素是通信节点之间的距离，特别是在环面（torus）网络上，较高的距离意味着多条消息在同一条链路上转发，从而降低了 allreduce 带宽。环面网络广泛用于针对机器学习工作负载优化的系统（例如 Google TPU 和 Amazon Trainium 设备），以及一些 Top500 超级计算机上。为了提高环面网络上的 allreduce 性能，我们引入了 Swing，这是一种新算法，通过在环面方向之间摆动来保持通信节点之间的低距离。我们的分析和实验评估表明，对于从 32B 到 128MiB 的向量，无论其形状和大小如何，Swing 在不同类型的环面及类环面拓扑结构上，性能比现有的 allreduce 算法高出多达 3 倍。
引用
@article{arxiv.2401.09356,
title = {Swing: Short-cutting Rings for Higher Bandwidth Allreduce},
author = {Daniele De Sensi and Tommaso Bonato and David Saam and Torsten Hoefler},
journal= {arXiv preprint arXiv:2401.09356},
year = {2024}
}