ASTRA-sim2.0：面向大规模大模型训练的分层网络与解聚系统建模
分布式、并行与集群计算
2025-04-15 v1 机器学习
摘要
随着深度学习模型与输入数据以前所未有的速度扩展，转向分布式训练平台以容纳模型并提升训练吞吐成为必然。晶圆级节点、多维网络拓扑、解聚内存系统以及并行化策略等前沿方法与技术在新兴分布式训练系统中已被积极采用。这导致了分布式训练的复杂软硬件协同设计栈，亟需用于设计空间探索的建模/仿真基础设施。本文扩展了开源ASTRA-sim基础设施，赋予其建模前沿与新兴分布式训练模型及平台的能力。具体而言：(i) 我们通过基于图的训练循环实现，使ASTRA-sim支持任意模型并行化策略；(ii) 我们实现了可参数化的多维异构拓扑生成基础设施，具备分析性性能估计，可在规模上仿真目标系统；(iii) 我们增强了内存系统建模，以支持对网内集合通信与解聚内存系统的精确建模。借助这些能力，我们针对新兴分布式模型与平台开展了全面的案例研究。该基础设施使系统设计者能迅速遍历复杂的协同设计栈，并为大规模设计与部署分布式训练平台提供有意义的见解。
引用
@article{arxiv.2303.14006,
title = {ASTRA-sim2.0: Modeling Hierarchical Networks and Disaggregated Systems for Large-model Training at Scale},
author = {William Won and Taekyung Heo and Saeed Rashidi and Srinivas Sridharan and Sudarshan Srinivasan and Tushar Krishna},
journal= {arXiv preprint arXiv:2303.14006},
year = {2025}
}