加速联邦学习中面向泛化性的客户端选择：一种多臂老虎机方法
机器学习
2023-03-21 v1 信号处理
摘要
联邦学习(FL)是一种新兴的机器学习(ML)范式，用于在持有本地数据集的多个节点（即客户端）上训练模型，而无需显式交换数据。近年来，由于其在隐私考量和通信资源方面的优势，它引起了越来越多的关注。在 FL 中，被选中的客户端训练其本地模型并将模型的函数发送至服务器，这消耗随机的处理与传输时间。服务器更新全局模型并广播回客户端。FL 中的客户端选择问题是在每个给定时刻调度客户端子集进行训练和传输，以优化学习性能。本文提出一种基于多臂老虎机(MAB)的新颖客户端选择方法，以最小化训练延迟而不损害模型的泛化能力，即对新观测提供可靠预测的能力。我们开发了实现该目标的新算法，称为 Bandit Scheduling for FL (BSFL)。我们从理论上分析 BSFL，并证明其实现了对数遗憾，该遗憾定义为 BSFL 相对于完全知晓所有客户端延迟均值的预言机所损失的量。此外，使用合成与真实数据集的仿真结果表明 BSFL 优于现有方法。
引用
@article{arxiv.2303.10373,
title = {Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach},
author = {Dan Ben Ami and Kobi Cohen and Qing Zhao},
journal= {arXiv preprint arXiv:2303.10373},
year = {2023}
}
备注
13 pages, 10 figures