任意客户端参与的联邦学习统一分析
机器学习
2024-12-31 v4 分布式、并行与集群计算
信息论
math.IT
最优化与控制
机器学习
摘要
联邦学习（FL）面临客户端间歇性可用以及计算/通信效率的挑战。因此，在任一时刻仅有少量客户端能参与 FL。理解部分客户端参与如何影响收敛十分重要，但现有工作多考虑理想化参与模式，或对通用模式得到具有非零最优性误差的结果。本文对任意客户端参与的 FL 提供统一收敛分析。我们首先引入联邦平均（FedAvg）的广义版本，在多个 FL 轮次的间隔上放大参数更新。随后给出一种新颖分析，将客户端参与的影响归结于单一项中。通过分析该项，我们得到了广泛参与模式（包括非随机与随机情形）的收敛上界，其与随机梯度下降（SGD）的下界或特定设定下的 SOTA 结果相匹配。我们还讨论了多种见解、建议与实验结果。
引用
@article{arxiv.2205.13648,
title = {A Unified Analysis of Federated Learning with Arbitrary Client Participation},
author = {Shiqiang Wang and Mingyue Ji},
journal= {arXiv preprint arXiv:2205.13648},
year = {2024}
}
备注
Presented at NeurIPS 2022. This latest version includes a minor fix of Step (a) in Equation (C.15) in the proof, which only affects a numerical constant in the learning rate choice for the theory. The convergence bounds expressed in $\mathcal{O}(\cdot)$ as well as all the main findings and conclusions remain the same