中文

FedStale:利用陈旧客户端更新进行联邦学习

机器学习 2024-05-08 v1 人工智能

摘要

联邦学习算法(如FedAvg)因数据异构性和部分客户端参与问题而受到影响。为缓解后者问题,全局方差缩减方法(如FedVARP)利用陈旧模型更新来为非参与客户端提供支持。这些方法在客户端参与均匀时效果良好。然而,本文指出,当某些客户端的参与程度远低于其他客户端时,聚合不同水平陈旧更新会损害训练过程。基于此观察,我们引入FedStale——一种新型算法,通过参与客户端的"新鲜"更新与非参与客户端的"陈旧"更新的凸组合来更新全局模型。通过调整凸组合中的权重,FedStale在FedAvg(仅使用新鲜更新)与FedVARP(对等对待新鲜与陈旧更新)之间进行插值。我们对FedStale的收敛性分析得出以下新发现:i)它整合并扩展了之前FedAvg和FedVARP分析至异构客户端参与情形;ii)它凸显了最少参与客户端对收敛误差的影响;iii)它提供了实用指南,表明陈旧更新的有用性随数据异构性增加和参与异构性增加而减弱。大量实验涵盖多样化的客户端数据与参与异构性,不仅印证了这些发现,也表明FedStale在许多设置下均优于FedAvg和FedVARP。

关键词

引用

@article{arxiv.2405.04171,
  title  = {FedStale: leveraging stale client updates in federated learning},
  author = {Angelo Rodio and Giovanni Neglia},
  journal= {arXiv preprint arXiv:2405.04171},
  year   = {2024}
}

备注

33 pages, 5 figures, preprint