面向分布式学习的通信压缩：聚合反馈与服务器引导式反馈
机器学习
2026-02-19 v2 信号处理
最优化与控制
摘要
分布式学习，特别是联邦学习 (FL)，在通信成本方面面临重大瓶颈，尤其是客户端向服务器更新的上行传输，往往受限于边缘设备的非对称带宽限制。偏置压缩技术在实际应用中效果显著，但需要错误反馈机制以提供理论保证并确保在压缩较激进时收敛。然而，标准的错误反馈依赖于客户端特定的控制 variates，这违反了用户隐私，且不兼容大规模 FL 场景中常见的无状态客户端。本文提出了两个新型框架，使偏置压缩无需客户端-side 状态或控制 variates。第一种方法称为压缩聚合反馈 (CAFe)，使用上一轮的全局聚合更新作为所有客户端的共享控制 variates。第二种方法称为服务器引导式压缩聚合反馈 (CAFe-S)，延伸此思想至服务器拥有小型私有数据集的情形；它生成一个由服务器引导的候选更新，以作为更精确的预测器。我们选取分布式梯度下降 (DGD) 作为代表性算法，证明在非凸 regime 且梯度不一致有界的条件下，CAFe 在理论上优于采用偏置压缩的分布式压缩梯度下降 (DCGD)。进一步证明，CAFe-S 可收敛至平稳点，其收敛速率随服务器数据越来越具代表性而改善。实验结果表明，在 FL 场景中，我们的方法优于现有的压缩方案。
引用
@article{arxiv.2512.22623,
title = {Communication Compression for Distributed Learning with Aggregate and Server-Guided Feedback},
author = {Tomas Ortega and Chun-Yin Huang and Xiaoxiao Li and Hamid Jafarkhani},
journal= {arXiv preprint arXiv:2512.22623},
year = {2026}
}