基于 Distributed Lion 的通信高效分布式训练
分布式、并行与集群计算
2024-04-02 v1 人工智能
机器学习
最优化与控制
机器学习
摘要
Lion 优化器一直是训练大型 AI 模型时 AdamW 的有力竞争者，在内存、计算和样本效率方面具有优势。在本文中，我们介绍了 Distributed Lion，这是 Lion 在分布式训练环境中的一种创新性改造。利用 Lion 中的符号算子，我们的 Distributed Lion 仅需在工作节点与中心服务器之间通信二进制或低精度向量，从而显著降低了通信成本。我们的理论分析证实了 Distributed Lion 的收敛性质。实验结果证明了它在视觉和语言问题上在各种任务、工作节点数和批量大小下的鲁棒性。值得注意的是，Distributed Lion 获得了与应用于聚合梯度的标准 Lion 或 AdamW 优化器相当的性能，但通信带宽显著降低。这一特性对于训练大型模型尤为有利。此外，我们还证明，与深度梯度压缩和三值梯度等现有高效分布式方法相比，Distributed Lion 呈现出更优的性能-带宽平衡。
引用
@article{arxiv.2404.00438,
title = {Communication Efficient Distributed Training with Distributed Lion},
author = {Bo Liu and Lemeng Wu and Lizhang Chen and Kaizhao Liang and Jiaxu Zhu and Chen Liang and Raghuraman Krishnamoorthi and Qiang Liu},
journal= {arXiv preprint arXiv:2404.00438},
year = {2024}
}
备注
22 pages