FedBalancer：面向异构客户端高效联邦学习的数据与节奏控制
机器学习
2022-05-27 v2
摘要
联邦学习（FL）在不暴露个体数据的前提下于分布式客户端上训练机器学习模型。与通常基于精心组织数据的集中式训练不同，FL 处理的是设备上往往未经筛选且不平衡的数据。因此，传统 FL 训练协议对所有数据一视同仁，导致本地计算资源的浪费并拖慢全局学习进程。为此，我们提出 FedBalancer，一个主动选择客户端训练样本的系统化 FL 框架。我们的样本选择策略在尊重客户端隐私与计算能力的同时，优先选取更具“信息量”的数据。为了更好地利用样本选择来加速全局训练，我们进一步引入一种自适应截止时间控制方案，针对每轮变化的客户端训练数据预测最优截止时间。与现有的带截止时间配置方法的 FL 算法相比，我们在来自三个不同领域的五个数据集上的评估表明，FedBalancer 将时间到精度性能提升了 1.20~4.48 倍，同时将模型精度提高了 1.1~5.0%。我们还通过展示 FedBalancer 与三种不同 FL 算法联合使用时提升收敛速度与精度，表明其易于应用于其他 FL 方法。
引用
@article{arxiv.2201.01601,
title = {FedBalancer: Data and Pace Control for Efficient Federated Learning on Heterogeneous Clients},
author = {Jaemin Shin and Yuanchun Li and Yunxin Liu and Sung-Ju Lee},
journal= {arXiv preprint arXiv:2201.01601},
year = {2022}
}
备注
Accepted to the 20th ACM International Conference on Mobile Systems, Applications, and Services (MobiSys 2022)