超越单一 AI 集群：去中心化 LLM 训练综述
分布式、并行与集群计算
2025-09-29 v3
摘要
大型语言模型（LLM）的出现彻底改变了 AI 的发展，然而其资源需求超出了单一集群甚至单一数据中心的容量，限制了资源充足的组织对它的获取。去中心化训练已成为一种有前景的范式，旨在利用跨集群、数据中心和区域的分散资源，为更广泛的群体提供民主化 LLM 开发的潜力。作为对这一新兴领域的首次全面探索，我们将去中心化 LLM 训练呈现为一种资源驱动的范式，并将现有工作分为社区驱动和组织驱动两类。我们进一步通过以下方面对其进行阐明：（1）与相关范式的比较，（2）去中心化资源的特征化，以及（3）最新进展的分类体系。我们还提供了最新的案例研究，并概述了推进去中心化 LLM 训练研究的未来方向。
引用
@article{arxiv.2503.11023,
title = {Beyond A Single AI Cluster: A Survey of Decentralized LLM Training},
author = {Haotian Dong and Jingyan Jiang and Rongwei Lu and Jiajun Luo and Jiajun Song and Bowen Li and Ying Shen and Zhi Wang},
journal= {arXiv preprint arXiv:2503.11023},
year = {2025}
}
备注
EMNLP 2025