$\gamma$-FedHT：联邦学习中的 stepsize-aware 硬阈值梯度压缩

梯度压缩可有效缓解联邦学习中的通信瓶颈。当代最先进的稀疏压缩器，如 Top-$k$，计算复杂度可高达 $\mathcal{O}(d\log_2{k})$，其中 $d$ 为模型参数数目。硬阈值压缩器仅传输绝对值高于固定阈值的元素，从而将复杂度降低至 $\mathcal{O}(d)$。然而，硬阈值压缩在联邦学习中导致精度下降，因为数据集非独立同分布 (non-IID) 且 stepsize $\gamma$ 随模型收敛而减小。衰减的 stepsize 减少更新，导致硬阈值压缩的压缩比率迅速下降至激进比率。当压缩比率达到或低于此比率时，模型精度已观察到严重下降。为此，我们提出 $\gamma$-FedHT，一种stepsize-aware 低成本压缩器，配合 Error-Feedback 以保证收敛。鉴于传统 FL 理论框架不考虑 Error-Feedback，我们引入 Error-Feedback 的基本原理。我们证明 $\gamma$-FedHT 在 $\mu$-强凸情况下收敛率为 $\mathcal{O}(\frac{1}{T})$ ($T$ 表示总训练迭代次数)，在非凸情况下为 $\mathcal{O}(\frac{1}{\sqrt{T}})$，与 FedAVG 相同。广泛实验表明，在 various non-IID 图像数据集上，$\gamma$-FedHT 在相等通信流量下比 Top-$k$ 最高可提升 7.42%。