Lagom：解放通信与计算重叠的力量用于分布式 LLM 训练
分布式、并行与集群计算
2026-02-25 v1
摘要
在分布式大模型训练中，计算与通信的重叠至关重要， yet optimizing it——尤其是当计算成为瓶颈时——仍然具有挑战性。我们提出了 Lagom—a一种在计算和通信之间协调资源使用的系统。通过引入统一的成本模型和基于优先级的搜索算法，Lagom 将优化复杂度从指数级降低到线性级。在高和低带宽 GPU 集群上的评估表明，Lagom 在各种模型和并行化方式下，相较于 NCCL 和 AutoCCL 实现了 1.07-1.33 倍和 1.03-1.27 倍的加速。
引用
@article{arxiv.2602.20656,
title = {Lagom: Unleashing the Power of Communication and Computation Overlapping for Distributed LLM Training},
author = {Guanbin Xu and ZhenGuo Xu and Yuzhe Li and Youhui Bai and Ping Gong and Chaoyi Ruan and Cheng Li},
journal= {arXiv preprint arXiv:2602.20656},
year = {2026}
}
备注
6 pages, 8 figures