无控制变量的分布式学习通信压缩
机器学习
2025-09-12 v2 信号处理
最优化与控制
摘要
分布式学习算法（如联邦学习 FL 中使用的算法）需要通信压缩来降低客户端上传的成本。实践中使用的压缩方法通常是有偏的，这使得误差反馈在实现激进压缩下的收敛以及提供理论收敛保证方面变得必要。然而，误差反馈需要客户端特定的控制变量，这带来了两个关键挑战：它违反了隐私保护原则并要求有状态的客户端。在本文中，我们提出了压缩聚合反馈（CAFe），这是一种新颖的分布式学习框架，通过利用过去的聚合更新来允许高度可压缩的客户端更新，并且不需要控制变量。我们将分布式梯度下降（DGD）作为一个代表性算法，并在非凸且梯度差异有界的条件下，从分析上证明了 CAFe 优于带有有偏压缩的分布式压缩梯度下降（DCGD）。实验结果证实了 CAFe 优于现有的分布式学习压缩方案。
引用
@article{arxiv.2412.04538,
title = {Communication Compression for Distributed Learning without Control Variates},
author = {Tomas Ortega and Chun-Yin Huang and Xiaoxiao Li and Hamid Jafarkhani},
journal= {arXiv preprint arXiv:2412.04538},
year = {2025}
}
备注
Revised format and minor exposition edits, results unchanged