异构数据上通信高效联邦学习线性收敛
机器学习
2025-03-21 v1 最优化与控制
摘要
通过让本地客户端在与参数服务器通信之前执行多次局部更新，现代联邦学习算法如FedAvg解决了分布式学习中的通信瓶颈问题，已在众多应用中取得成功。然而，这种局部更新与通信之间的异步性也会导致在数据异构（非独立同分布）情况下出现client-drift问题，从而导致最终学习结果中的误差。本文提出一种联邦学习算法，称为FedCET，确保在数据跨客户端异构分布下实现准确收敛。灵感来自分布式优化算法NIDS，我们使用学习率对来自本地客户端的信息进行加权，以消除client-drift。我们证明，在合适的学习率下，FedCET可确保收敛于精确解。与现有算法不同，FedCET只共享一个变量，而无需在异构数据分布下共享梯度和漂移校正项，从而显著降低了通信开销。与现有算法的数值比较确认了FedCET的有效性。
关键词
引用
@article{arxiv.2503.15804,
title = {Communication Efficient Federated Learning with Linear Convergence on Heterogeneous Data},
author = {Jie Liu and Yongqiang Wang},
journal= {arXiv preprint arXiv:2503.15804},
year = {2025}
}