联邦平均在循环客户端参与下的收敛性分析
机器学习
2023-02-08 v1 分布式、并行与集群计算
摘要
联邦平均（FedAvg）及其变体是联邦学习（FL）中最流行的优化算法。先前对 FedAvg 的收敛性分析要么假设全客户端参与，要么假设可均匀采样客户端的 partial 客户端参与。然而，在实际的跨设备 FL 系统中，在给定时刻仅满足本地标准（如电池状态、网络连接性以及最大参与频率要求（以保障隐私））的客户端子集可用于训练。因此，客户端的可用性遵循自然的循环模式。我们提供了（据我们所知）首个理论框架，用以分析 FedAvg 在循环客户端参与下配合若干不同客户端优化器（如 GD、SGD 与 shuffled SGD）的收敛性。我们的分析发现，在合适条件下，循环客户端参与可比均匀客户端参与的原始 FedAvg 实现更快的渐近收敛速率，为客户端采样协议的设计提供了有价值的见解。
引用
@article{arxiv.2302.03109,
title = {On the Convergence of Federated Averaging with Cyclic Client Participation},
author = {Yae Jee Cho and Pranay Sharma and Gauri Joshi and Zheng Xu and Satyen Kale and Tong Zhang},
journal= {arXiv preprint arXiv:2302.03109},
year = {2023}
}