异构且相关客户端可用性下的联邦学习
机器学习
2023-01-12 v1 人工智能
分布式、并行与集群计算
摘要
移动与物联网设备产生的海量数据推动了联邦学习（FL）的发展，该框架允许此类设备（或客户端）在不共享本地数据的情况下协作训练机器学习模型。FL算法（如FedAvg）迭代聚合客户端在其自身数据集上计算的模型更新。客户端可能表现出不同的参与水平，且常随时间及其他客户端相关。本文首次给出了异构且相关客户端可用性下类FedAvg的FL算法的收敛性分析。我们的分析揭示了相关性如何对算法收敛速率产生不利影响，以及聚合策略如何以将训练引向有偏模型为代价来缓解该影响。在理论分析指导下，我们提出CA-Fed，一种试图平衡最大化收敛速度与最小化模型偏差这一矛盾目标的新FL算法。为此，CA-Fed动态调节各客户端的权重，并可能忽略可用性低且相关性大的客户端。实验结果表明，在合成与真实数据集上，CA-Fed相较最先进的AdaFed和F3AST取得了更高的时均精度与更低的标准差。
引用
@article{arxiv.2301.04632,
title = {Federated Learning under Heterogeneous and Correlated Client Availability},
author = {Angelo Rodio and Francescomaria Faticanti and Othmane Marfoq and Giovanni Neglia and Emilio Leonardi},
journal= {arXiv preprint arXiv:2301.04632},
year = {2023}
}
备注
11 pages, accepted as conference paper at IEEE INFOCOM 2023