Hetu v2：面向层次化异构单程序多数据注释的通用可扩展深度学习系统
分布式、并行与集群计算
2025-04-30 v1
摘要
单程序多数据 (SPMD) 范式提供了一种统一的抽象来注释分布式深度学习 (DL) 训练中各种并行维度。通过 SPMD，用户可以从单个设备的视角编写训练程序，而系统会自动推断张量分片和通信模式。然而，随着大规模 DL 模型的发展，分布式训练呈现出空间和时间上的工作负载不均，源于设备差异（如混合硬件、故障）和数据差异（如序列长度不均）。这类不均性违反了 SPMD 假设的均匀工作负载划分，从而限制了其表达和优化异构并行策略的能力。为此，我们提出了 HSPMD 于 Hetu v2 系统，以实现通用的可扩展 DL 训练。HSPMD 扩展了 SPMD 的注释，支持非对称分片，并通过组合标准通信原语实现层次化通信，同时保持单设备声明式编程模型的简单性。利用 HSPMD，Hetu 通过渐进式图专家处理空间异构性，实现设备特定的执行逻辑；并通过动态图切换解决时间异构性。在异构集群、弹性训练和混合长度数据场景下的评估表明，HSPMD 可匹配或优于专用系统，为现代大规模模型训练提供了灵活且高效的解决方案。
引用
@article{arxiv.2504.20490,
title = {Hetu v2: A General and Scalable Deep Learning System with Hierarchical and Heterogeneous Single Program Multiple Data Annotations},
author = {Haoyang Li and Fangcheng Fu and Hao Ge and Sheng Lin and Xuanyu Wang and Jiawen Niu and Xupeng Miao and Bin Cui},
journal= {arXiv preprint arXiv:2504.20490},
year = {2025}
}