一阶误差反馈方法的紧确分析
机器学习
2025-11-04 v2 分布式、并行与集群计算
最优化与控制
摘要
通信在分布式学习中常常构成主要的计算瓶颈。最常见的缓解策略之一是压缩交换的信息，从而降低通信开销。为了抵消压缩通信带来的收敛性退化，误差反馈方案——最著名的是 EF 和 EF²¹——被引入。在本工作中，我们对这两种方法提供了紧确分析。具体而言，我们找到了能为每种方法产生最佳收敛率的 Lyapunov 函数——并附有匹配的下界。这种原则性的方法得出了尖锐的性能保证，并使得 EF、EF²¹ 和压缩梯度下降之间能够进行严格的、公平的比较。我们的分析在简化的单智能体设置下进行，这使得能够获得清晰的理论洞察并公平地比较底层机制。
引用
@article{arxiv.2506.05271,
title = {Tight analyses of first-order methods with error feedback},
author = {Daniel Berg Thomsen and Adrien Taylor and Aymeric Dieuleveut},
journal= {arXiv preprint arXiv:2506.05271},
year = {2025}
}