L4：通过自动化日志分析诊断大规模 LLM 训练故障
软件工程
2025-03-27 v1 分布式、并行与集群计算
摘要
随着大型语言模型 (LLM) 在 various applications 中展现出强大能力，定制化 LLM 的训练已成为现代企业的必需品。然而，由于 LLM 训练的复杂性，需要巨大的计算资源和持续的训练时间，训练过程中的故障是不可避免的。这些故障导致资源和时间的巨大浪费，凸显了对有效且高效故障诊断的关键需求，以降低 LLM 训练的成本。本文提出了一种基于生产平台-X（Platform-X）中 428 项 LLM 训练故障报告的首个实证研究，覆盖 2023 年 5 月至 2024 年 4 月。我们的研究发现，硬件故障和用户错误是主要根本原因，而当前的诊断过程高度依赖训练日志。不幸的是，现有的基于日志的诊断方法在处理 LLM 训练日志方面力不从众。鉴于 LLM 训练的独特特征，我们识别了 LLM 训练日志的三种不同模式：跨作业模式、空间模式和时间模式。随后，我们引入了基于日志的大规模 LLM 训练故障诊断框架 L4，该框架能够自动从大量训练日志中提取故障指示信息（即日志事件、节点、阶段和迭代），从而减少人工 effort 并促进故障恢复。实验结果表明，L4 在识别故障指示日志和定位故障节点方面优于现有方法。此外，L4 已应用于 Platform-X，证明其在实现准确且高效故障诊断方面的有效性。
引用
@article{arxiv.2503.20263,
title = {L4: Diagnosing Large-scale LLM Training Failures via Automated Log Analysis},
author = {Zhihan Jiang and Junjie Huang and Zhuangbin Chen and Yichen Li and Guangba Yu and Cong Feng and Yongqiang Yang and Zengyin Yang and Michael R. Lyu},
journal= {arXiv preprint arXiv:2503.20263},
year = {2025}
}
备注
To appear in companion proceedings of the 33rd ACM International Conference on the Foundations of Software Engineering (FSE'25). 13 pages