基于历史下降方向梯度投影的通信高效联邦学习
机器学习
2025-11-11 v1 神经与进化计算
最优化与控制
统计理论
统计理论
摘要
联邦学习（FL）通过在多个客户端上进行去中心化模型训练，同时可选地保留数据隐私。然而，通信效率仍是大规模模型的关键瓶颈。本文引入两种互补算法：ProjFL面向无偏压缩器，ProjFL+EF通过误差反馈机制针对有偏压缩器进行优化。两种方法都依赖于将局部梯度投影到由历史下降方向张成的共享客户端-服务器子空间中，从而实现最小通信开销的信息交换。我们在强凸、凸和非凸设置下为两种算法建立了收敛保证。在标准FL分类基准测试中使用深层神经网络进行经验评估显示，ProjFL和ProjFL+EF在保持与现有基线相当的准确性的同时，显著降低了通信成本。
引用
@article{arxiv.2511.05593,
title = {Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning},
author = {Arnaud Descours and Léonard Deroose and Jan Ramon},
journal= {arXiv preprint arXiv:2511.05593},
year = {2025}
}