压缩与分布式最小二乘回归：收敛速率及其在联邦学习中的应用

本文研究了压缩对机器学习中随机梯度算法的影响，该技术在分布式与联邦学习中广泛使用。我们指出了几种无偏压缩算子之间在收敛速率上的差异，这些算子均满足相同的方差条件，从而超越了经典的最坏情况分析。为此，我们聚焦于最小二乘回归(LSR)的情形，并分析了一个依赖随机场、用于最小化二次泛函的通用随机逼近算法。我们对随机场(具体地，期望 Hölder 正则性)与噪声协方差施加了较弱的假设，从而能够分析包括压缩在内的多种随机化机制。随后我们将结果推广至联邦学习情形。更严格地说，我们强调了算法所诱导加性噪声的协方差 $\mathfrak{C}_{\mathrm{ania}}$ 对收敛的影响。我们证明，尽管随机场非正则，极限方差项按 $\mathrm{Tr}(\mathfrak{C}_{\mathrm{ania}} H^{-1})/K$ 缩放(其中 $H$ 为优化问题的 Hessian 矩阵，$K$ 为迭代次数)，推广了普通 LSR 情形的速率 $\sigma^2 \mathrm{Tr}(H H^{-1}) / K = \sigma^2 d / K$ (Bach and Moulines, 2013)。进而，我们分析了 $\mathfrak{C}_{\mathrm{ania}}$ 对压缩策略的依赖性及其对收敛的最终影响，先在集中式情形，再在两个异构 FL 框架下。