一种兼顾公平性的联邦学习高效客户端选择方案
机器学习
2023-09-06 v5 分布式、并行与集群计算
摘要
集中式人工智能模型训练过程中潜在的隐私泄露问题已引发公众广泛关注。一种称为联邦学习（Federated Learning，FL）的并行与分布式计算（Parallel and Distributed Computing，PDC）方案已成为一种新范式，通过允许客户端在本地进行模型训练而无需上传个人敏感数据来应对隐私问题。在联邦学习中，客户端数量可能非常庞大，但用于模型下发与回传的带宽相当有限，因此仅让部分志愿者参与训练过程是合理的。客户端选择策略对联邦学习过程的训练效率、最终模型质量以及公平性至关重要。本文将公平性保障下的客户端选择建模为李雅普诺夫优化问题，进而提出一种基于C2MAB的方法用于估计各客户端与服务器间的模型交换时间，并据此设计了一种公平性保障算法RBCS-F来求解该问题。RBCS-F的累积遗憾被严格限定于有限常数内，印证了其理论可行性。除理论结果外，我们在公开数据集上的真实训练实验还可得出更多经验性数据。
引用
@article{arxiv.2011.01783,
title = {An Efficiency-boosting Client Selection Scheme for Federated Learning with Fairness Guarantee},
author = {Tiansheng Huang and Weiwei Lin and Wentai Wu and Ligang He and Keqin Li and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2011.01783},
year = {2023}
}
备注
Accepted by IEEE TPDS. DOI: 10.1109/TPDS.2020.3040887