LoCoDL：具有本地训练与压缩的高效通信分布式学习
最优化与控制
2025-03-03 v2 分布式、并行与集群计算
机器学习
摘要
在分布式优化与学习中，尤其是在现代联邦学习框架下，缓慢且昂贵的通信至关重要。我们引入了 LoCoDL，一种通信高效算法，它利用了两种流行且有效的技术：本地训练（Local training），可减少通信频率；以及压缩（Compression），即发送短比特流而非全维浮点向量。LoCoDL 适用于一大类无偏压缩器，包括广泛使用的稀疏化和量化方法。LoCoDL 被证明能从本地训练和压缩中获益，并在具有强凸函数的一般异构机制下，相对于函数的条件数和模型维度享有双重加速的通信复杂度。这一点在实践中得到了证实，LoCoDL 的表现优于现有算法。
引用
@article{arxiv.2403.04348,
title = {LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression},
author = {Laurent Condat and Artavazd Maranjyan and Peter Richtárik},
journal= {arXiv preprint arXiv:2403.04348},
year = {2025}
}