Mycroft：面向可靠LLM训练的集体通信依赖追踪
分布式、并行与集群计算
2025-09-04 v1 机器学习
摘要
可靠性是确保LLM训练效率的关键因素。然而，许多现实中的可靠性问题仍然难以解决，导致资源浪费和模型性能下降。不幸的是，今天的集体通信库作为黑盒子，隐藏了有效根源分析所必需的关键信息。我们提出Mycroft，一个轻量级的分布式追踪和根源分析系统，旨在解决之前被隐藏的集体通信可靠性问题。Mycroft的核心思想是追踪集体通信状态并利用内部控制和数据依赖项来解决LLM训练中的可靠性问题。Mycroft已在字节跳动部署超过六个月，用于在运行时调试集体通信相关问题。它在90%的情况下在15秒内检测到异常，并在60%的情况下在20秒内识别根源。我们还进行了大规模故障注入实验，以演示Mycroft的能力和效率。
引用
@article{arxiv.2509.03018,
title = {Mycroft: Tracing Dependencies in Collective Communication Towards Reliable LLM Training},
author = {Yangtao Deng and Lei Zhang and Qinlong Wang and Xiaoyun Zhi and Xinlei Zhang and Zhuo Jiang and Haohan Xu and Lei Wang and Zuquan Song and Gaohong Liu and Yang Bai and Shuguang Wang and Wencong Xiao and Jianxi Ye and Minlan Yu and Hong Xu},
journal= {arXiv preprint arXiv:2509.03018},
year = {2025}
}