基于带_bandit反馈在线学习的联邦学习自适应客户端采样
机器学习
2025-01-31 v5
摘要
由于通信成本高,联邦学习(FL)系统需要采样参与每轮训练的客户端子集。因此,客户端采样在FL系统中起着重要作用,因为它影响用于训练机器学习模型的优化算法的收敛速率。尽管其重要,关于如何有效采样客户端的研究有限。本文将客户端采样视为带bandit反馈的在线学习任务,并使用旨在最小化采样方差的在线随机镜像下降(OSMD)算法求解。我们随后从理论上展示了我们的采样方法如何比广泛使用的均匀采样改善联邦优化算法的收敛速度。通过模拟和真实数据实验,我们实证说明了所提客户端采样算法相对于均匀采样和现有基于在线学习的采样策略的优势。所提自适应采样过程适用于超出此处研究的FL问题,并可用于改善随机优化过程(如随机梯度下降和随机坐标下降)的性能。
引用
@article{arxiv.2112.14332,
title = {Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback},
author = {Boxin Zhao and Lingxiao Wang and Ziqi Liu and Zhiqiang Zhang and Jun Zhou and Chaochao Chen and Mladen Kolar},
journal= {arXiv preprint arXiv:2112.14332},
year = {2025}
}
备注
67 pages, 8 figures, to be published on Journal of Machine Learning Research (JMLR)