动量可证明地改进误差反馈！
机器学习
2023-10-31 v2 分布式、并行与集群计算
最优化与控制
摘要
由于在分布式环境中训练机器学习模型时存在高通信开销，现代算法无不依赖有损通信压缩。然而，若不加以处理，压缩引起的误差会传播，并可能导致严重的不稳定行为，包括指数发散。近十年前，Seide 等人 [2014] 提出了一种误差反馈（EF）机制，我们称之为 EF14，作为缓解该问题的极有效启发式方法。尽管过去十年中 EF 领域在算法和理论上稳步进展，我们的理解仍远未完成。本工作解决了最紧迫的问题之一。具体而言，在典型非凸设定下，所有已知的 EF 变体都依赖非常大的批量大小才能收敛，这在实际中可能难以承受。我们提出一个惊人简单的修复方案，在理论和实践中均消除了该问题：将 Polyak 动量应用于 Richt\'{a}rik 等人 [2021] 提出的最新 EF 版本（称为 EF21）。我们的算法命名为 EF21-SGDM，在标准光滑性和有界方差假设下改进了先前误差反馈算法的通信和样本复杂度，且不需要任何如梯度不相似有界之类的进一步强假设。此外，我们提出方法的双动量版本，进一步改进了复杂度。即使从方法中去掉压缩，我们的证明似乎也是新颖的，因此我们的证明技术在研究 enriched with Polyak 动量的非凸随机优化中具有独立意义。
引用
@article{arxiv.2305.15155,
title = {Momentum Provably Improves Error Feedback!},
author = {Ilyas Fatkhullin and Alexander Tyurin and Peter Richtárik},
journal= {arXiv preprint arXiv:2305.15155},
year = {2023}
}