LLMPrism：面向生产环境LLM训练平台的黑盒性能诊断
软件工程
2025-05-02 v1
摘要
大语言模型（LLM）已在各个领域带来了革命性变化，使得LLM训练对现代企业至关重要。为满足这一需求，多租户大规模LLM训练平台应运而生，以提供LLM训练服务。然而，由于LLM训练过程的复杂性和同步性，性能问题频繁发生，并可能导致大量资源浪费。平台提供商视角下的有限可见性阻碍了现有的性能分析方法，并对LLM训练作业性能的监控与诊断构成了挑战。本文首次提出利用底层网络流数据，基于LLM训练过程中的独特特征来重建作业的训练时间线。我们设计了LLMPrism，这是首个面向LLM训练平台的黑盒性能诊断系统。通过逐步识别LLM训练作业、识别其并行策略并重建训练时间线，LLMPrism实现了对LLM训练系统的非侵入式、轻量级且持续的监控。利用这种监控能力，它进一步有效地诊断潜在的性能问题。自2024年10月以来，LLMPrism已部署在我们的大规模生产环境Platform-X上，评估和部署经验表明，LLMPrism能够实现误差在0.3%以内的精确时间线重建，并有效诊断各种性能问题。
引用
@article{arxiv.2505.00342,
title = {LLMPrism: Black-box Performance Diagnosis for Production LLM Training Platforms},
author = {Zhihan Jiang and Rui Ren and Guangba Yu and Yulun Wu and Wenwei Gu and Yichen Li and Yujie Huang and Cong Feng and Zengyin Yang and Yongqiang Yang and Michael R. Lyu},
journal= {arXiv preprint arXiv:2505.00342},
year = {2025}
}