LOSCAR-SGD：带通信-计算重叠与延迟校正稀疏模型平均的局部 SGD
机器学习
2026-05-21 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
在分布式学习中，尤其是在大规模设置和联邦学习环境中，通信是主要瓶颈。减少此成本的三种标准方法分别是通信压缩、局部训练和通信-计算重叠。实际中使用的将这些要素组合起来的方法被发现有效，但对同时包含这三种要素的方法理论研究寥寥。我们研究了异构计算环境，即不同工作者可采取不同的本地步骤数的情况，并提出 LOSCAR-SGD，一种仅通信稀疏模型坐标子集的 Local SGD 方法，并在通信进行时继续优化。一个关键要素是延迟校正的合并规则，它在不丢弃重叠阶段所做出的进展的同时，纳入延迟同步信息。我们给出光滑非凸目标的收敛保证，并展示稀疏性、重叠和工作者异构性如何影响收敛率。据我们所知，这是对这三种要素组合的第一次理论分析。实验进一步表明，通信-计算重叠减少了训练时间，延迟校正的合并优于简单覆盖。
引用
@article{arxiv.2605.20866,
title = {LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging},
author = {Yassine Maziane and Ammar Mahran and Artavazd Maranjyan and Peter Richtárik},
journal= {arXiv preprint arXiv:2605.20866},
year = {2026}
}