Oobleck：基于流水线模板的大模型弹性分布式训练
分布式、并行与集群计算
2023-11-09 v2 机器学习
摘要
Oobleck 实现了具有故障容错保证的大规模 DNN 模型弹性分布式训练。它采用规划-执行协同设计方法，首先生成一组异构流水线模板，并实例化至少 个逻辑等价的流水线副本以容忍任意 个同时发生的故障。在执行过程中，它依赖副本间已复制的模型状态来提供快速恢复。Oobleck 可证明保证：最初创建的流水线模板中总存在某种组合，可在 个或更少同时故障后覆盖所有可用资源，从而始终避免资源闲置。对含数十亿参数的大型 DNN 模型的评估表明，Oobleck 提供持续高吞吐，并且相较 Bamboo 和 Varuna 等最先进容错方案最高提速 。
引用
@article{arxiv.2309.08125,
title = {Oobleck: Resilient Distributed Training of Large Models Using Pipeline Templates},
author = {Insu Jang and Zhenning Yang and Zhen Zhang and Xin Jin and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2309.08125},
year = {2023}
}
备注
SOSP'23 | Camera-ready + figures and numbers are corrected