Lion Cub: 分布式 Lion 优化通信开销
机器学习
2025-07-08 v2 分布式、并行与集群计算
摘要
在分布式深度学习中，通信开销是关键挑战，尤其是在较慢的以太网互连上，考虑到当前的硬件趋势，通信很可能成为主要瓶颈。虽然已探索了SGD和Adam的梯度压缩技术，但Lion优化器具有独特优势，即其更新向量是sign运算的输出，从而实现简单的量化。然而，仅通过压缩更新进行通信并使用多数投票等技术，无法实现端到端加速，因为通信算法效率低且收敛性下降。我们分析了分布式学习中与Lion相关的三个关键因素：优化通信方法、识别有效的量化方法以及评估动量同步的必要性。我们的发现表明，针对Lion设计的量化技术以及选择性动量同步可以显著降低通信成本，同时保持收敛性。我们将这些方法结合起来构成Lion Cub，使其在端到端训练中相较于Lion实现最高5倍的加速。这一结果凸显了Lion作为高效分布式训练解决方案的潜力。
引用
@article{arxiv.2411.16462,
title = {Lion Cub: Minimizing Communication Overhead in Distributed Lion},
author = {Satoki Ishikawa and Tal Ben-Nun and Brian Van Essen and Rio Yokota and Nikoli Dryden},
journal= {arXiv preprint arXiv:2411.16462},
year = {2025}
}
备注
ICML 2025 Workshop "Tiny Titans: The Next Wave of On-Device Learning for Foundational Models (TTODLer-FM)"