带各种扩展的 EF21：现代误差反馈的六种算法扩展

误差反馈（EF）由 Seide（2014）首次作为一种启发式方法提出，是一种非常流行的机制，用于保证基于分布式梯度的优化方法在结合基于压缩算子应用的通信压缩策略时的收敛性。然而，现有的 EF 理论依赖于非常强的假设（例如有界梯度），并给出悲观的收敛速率（例如，在光滑非凸情形下，当压缩完整梯度时，EF 已知最佳速率为 $O(1/T^{2/3})$，而同一情形下梯度下降的速率为 $O(1/T)$）。最近，Richtárik 等人（2021）提出了一种新的误差反馈机制 EF21，其基于由压缩算子诱导的马尔可夫压缩算子的构造。EF21 消除了 EF 上述理论缺陷，同时在实际中表现更好。在这项工作中，我们提出了 EF21 的六种实用扩展，均得到强收敛理论支持：部分参与、随机逼近、方差缩减、近端设置、动量和双向压缩。据我们所知，其中若干技术在结合 EF 时此前未被分析过，而在已有先前分析的情形下——例如双向压缩——我们的理论收敛保证显著优于现有结果。