EF-BV：分布式优化中有偏与无偏压缩的错误反馈与方差缩减机制统一理论
机器学习
2023-03-07 v4 分布式、并行与集群计算
最优化与控制
摘要
在分布式或联邦优化与学习中，不同计算单元间的通信常常是瓶颈，梯度压缩被广泛用于减少迭代方法每轮通信所发送的比特数。有两类压缩算子及分别利用它们的算法。对于具有有界方差的无偏随机压缩器（例如 rand-k），Mishchenko 等人（2019）的 DIANA 算法（其实现了用于处理压缩引入方差的方差缩减技术）是当前最优。对于有偏且压缩的压缩器（例如 top-k），Richtárik 等人（2021）的 EF21 算法（其转而实现错误反馈机制）是当前最优。这两类压缩方案与算法是截然不同的，具有不同分析与证明技巧。在本文中，我们将它们统一到单一框架中，并提出一种新算法，将 DIANA 和 EF21 作为特例恢复。我们的通用方法适用于一个具有两个参数（偏差与方差）的新的更大类压缩器，并将无偏与有偏压缩器作为特例包含。这使我们能继承两个世界的优点：像 EF21 而不像 DIANA，可以使用有偏压缩器（如 top-k，其在实际中的良好性能已被认可）；像 DIANA 而不像 EF21，压缩器处的独立随机性可缓解压缩的影响，当并行工作节点数较大时收敛速率改善。这是首次提出具有所有这些特征的算法。我们在一定条件下证明其线性收敛。我们的方法朝着更好理解迄今两个迥异的通信高效分布式学习世界迈出了一步。
引用
@article{arxiv.2205.04180,
title = {EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization},
author = {Laurent Condat and Kai Yi and Peter Richtárik},
journal= {arXiv preprint arXiv:2205.04180},
year = {2023}
}
备注
Conference NeurIPS 2022