基于相关客户端参与的联邦学习去偏置方法
机器学习
2024-10-03 v1 分布式、并行与集群计算
摘要
在拥有数百万移动客户端的跨设备联邦学习中，仅有一小部分客户端在每个通信轮次中参与训练，Federated Averaging（FedAvg）是实际应用中最流行的算法。现有FedAvg分析通常假设参与客户端在每个轮次中从均匀分布中独立抽样，这并不反映现实场景。本文提出了理论框架，将客户端参与建模为马尔可夫链，以研究在客户端具有非均匀且相关参与情况下的优化收敛性。我们将该框架用于分析更通用且更实际的模式：每个客户端在重新参与前必须等待至少R轮（最小间隔）。我们理论证明并经验观察到，增加最小间隔可减少由跨设备FL系统客户端可用性固有非均匀性导致的偏差。此外，我们发展了一种有效的去偏置算法，用于FedAvg，可在任意最小间隔和未知客户端可用性分布下实现无偏最优解的收敛。
引用
@article{arxiv.2410.01209,
title = {Debiasing Federated Learning with Correlated Client Participation},
author = {Zhenyu Sun and Ziyang Zhang and Zheng Xu and Gauri Joshi and Pranay Sharma and Ermin Wei},
journal= {arXiv preprint arXiv:2410.01209},
year = {2024}
}