OpenDiLoCo：面向全球分布式低通信训练的开源框架
机器学习
2024-07-11 v1 分布式、并行与集群计算
摘要
OpenDiLoCo 是分布式低通信 (DiLoCo) 训练方法的开源实现与复制版本。我们提供了可复现的 DiLoCo 实验实现，并将其融入基于 Hivemind 库的可扩展、去中心化训练框架。我们通过在两大洲、三国家训练模型来展示其有效性，同时保持 90-95% 的计算资源利用率。此外，我们进行了消融实验，聚焦于算法的计算效率、工作节点数量的可扩展性，以及梯度可否仅用 FP16 完成全归约而不产生性能降低。我们还将 OpenDiLoCo 扩展至原作的 3 倍规模，证明其适用于数十亿参数模型。
引用
@article{arxiv.2407.07852,
title = {OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training},
author = {Sami Jaghouar and Jack Min Ong and Johannes Hagemann},
journal= {arXiv preprint arXiv:2407.07852},
year = {2024}
}