中文

FedAR:针对联邦学习中的客户端不可用性提出的本地更新近似与纠正算法

机器学习 2024-07-30 v1 分布式、并行与集群计算

摘要

联邦学习 (FL) 使客户端能够在服务器的协调下以隐私保护的方式共同训练机器学习模型。FL的一个主要挑战是服务器可能因客户端资源限制和间歇性网络连接性质,在每个轮次中未收到来自每个客户端的本地更新。客户端不可用的存在严重恶化了整个FL性能。本文提出了一种新的客户端更新近似和纠正算法用于FL以解决客户端不可用问题。FedAR可以让所有客户端参与全局模型更新,以在服务器上实现高质量的全局模型,同时为每个客户端提供准确的预测。为此,服务器使用来自每个客户端的最新更新作为其当前更新的替代品。然后,为每个客户端的替代更新分配不同的权重,以保证来自可用和不可用客户端的贡献。我们的理论分析证明了FedAR在非IID数据集上对凸和非凸光滑损失函数实现最佳收敛速率。大量实证研究表明,FedAR在训练损失、测试准确率和偏差缓解方面综合性地优于包括FedAvg、MIFA、FedVARP和Scaffold在内的领先FL基线方法。此外,FedAR在大量客户端存在严重客户端不可用性时也表现出色。

关键词

引用

@article{arxiv.2407.19103,
  title  = {FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification},
  author = {Chutian Jiang and Hansong Zhou and Xiaonan Zhang and Shayok Chakraborty},
  journal= {arXiv preprint arXiv:2407.19103},
  year   = {2024}
}

备注

18 pages, ECML 2024