TopoOpt：面向分布式训练任务协同优化网络拓扑与并行化策略
网络与互联网体系结构
2022-10-03 v3 分布式、并行与集群计算
摘要
我们提出 TopoOpt，一种用于深度神经网络（DNN）训练负载的新型直连网络架构。TopoOpt 从计算、通信和网络拓扑三个维度协同优化分布式训练过程。我们证明了 AllReduce 流量的可变性，并利用该特性为 DNN 训练任务构建高效的网络拓扑。随后，TopoOpt 使用一种交替优化技术以及受群论启发的名为 TotientPerms 的算法，来寻找最佳网络拓扑与路由方案，以及相应的并行化策略。我们构建了一个全功能 12 节点直连原型，具备 100 Gbps 的远程直接内存访问（RDMA）转发能力。在真实分布式训练模型上的大规模仿真表明，与成本相近的 Fat-Tree 互连相比，TopoOpt 将 DNN 训练时间最多降低 3.4 倍。
引用
@article{arxiv.2202.00433,
title = {TopoOpt: Co-optimizing Network Topology and Parallelization Strategy for Distributed Training Jobs},
author = {Weiyang Wang and Moein Khazraee and Zhizhen Zhong and Manya Ghobadi and Zhihao Jia and Dheevatsa Mudigere and Ying Zhang and Anthony Kewitsch},
journal= {arXiv preprint arXiv:2202.00433},
year = {2022}
}