SPARe：面向 10 万+ GPU 的容错 LLM 预训练系统的堆叠并行与自适应重排序
分布式、并行与集群计算
2026-05-29 v3 系统与控制
系统与控制
摘要
在拥有 10 万+ GPU 的大规模 LLM 预训练系统中，故障已成为常态而非例外，重启成本可支配训练 wall-clock 时间。然而，现有容错机制在面对此种 restart-dominant 环境时几乎未作准备。为此，我们提出 SPARe - Stacked Parallelism with Adaptive Reordering - 一种容错框架，通过在并行组中堆叠冗余数据分片并自适应重排序执行，以掩盖梯度同步期间的节点故障。SPARe 在容错性方面达到类似传统复制的水平，同时即使在高冗余下（传统复制则需线性放大开销）也保持近乎恒定的计算开销仅为 2~3 倍。我们推导了可容纳故障次数与计算开销的闭式表达式，通过 SimGrid 离散事件仿真进行验证，并联合优化冗余度与检查点以最小化 time-to-train。在 60 万 GPU 的极端规模下，SPARe 将 time-to-train 缩短 40~50%。
引用
@article{arxiv.2603.00357,
title = {SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs},
author = {Jin Lee and Zhonghao Chen and Xuhang He and Robert Underwood and Bogdan Nicolae and Franck Cappello and Xiaoyi Lu and Sheng Di and Zheng Zhang},
journal= {arXiv preprint arXiv:2603.00357},
year = {2026}
}
备注
Forty-Third International Conference on Machine Learning (ICML 2026)