带偏置压缩的联邦非凸优化中误差反馈的分析

在联邦学习（FL）系统（例如无线网络）中，客户端与中心服务器间的通信成本常成为瓶颈。为降低通信成本，通信压缩范式已成为文献中的流行策略。本文关注非凸 FL 问题中的偏置梯度压缩技术。在分布式学习的经典设定中，误差反馈（EF）方法是补救偏置梯度压缩缺陷的常用技术。本工作中，我们研究一种配备误差反馈的压缩 FL 方案，称为 Fed-EF。我们进一步提出两种变体：Fed-EF-SGD 与 Fed-EF-AMS，取决于全局模型优化器的选择。我们提供通用理论分析，表明在 FL 中直接应用偏置压缩会导致收敛率中不可消失的偏置。所提 Fed-EF 能够在数据异构下以线性加速比匹配全精度 FL 对应项的收敛率。此外，我们针对部分客户端参与这一 FL 重要场景发展了 EF 的新分析。我们证明在部分参与下，Fed-EF 的收敛率因所谓的“陈旧误差补偿”效应而出现额外的减速因子。进行了数值研究以佐证部分参与下陈旧误差积累对 Fed-EF 范数收敛的直观影响。最后，我们还证明在 Fed-EF 中引入双向压缩不改变收敛结果。总之，我们的工作对联邦非凸优化中的误差反馈进行了透彻分析。我们对部分客户端参与的分析也揭示了误差反馈机制的理论局限及可能的改进方向。