Fed-CBS：一种基于类别不平衡缓解的联邦学习异质性感知客户端采样机制
机器学习
2023-06-07 v2
摘要
由于边缘设备的通信能力有限，大多数现有的联邦学习（FL）方法在每一通信轮中随机仅选择一部分设备参与训练。与让所有可用客户端参与相比，随机选择的机制在非独立同分布（non-IID）数据上会导致显著的性能下降。在本文中，我们展示了关键观察：导致此种性能下降的本质原因是来自随机选中客户端的 grouped 数据的类别不平衡。基于我们的关键观察，我们设计了一种高效的异质性感知客户端采样机制，即联邦类别平衡采样（Fed-CBS），它能有效降低来自有意选定客户端的组数据集的类别不平衡。特别地，我们提出了一种类别不平衡的度量，并随后采用同态加密以隐私保护的方式推导该度量。基于此度量，我们还设计了一种计算高效的客户端采样策略，使得主动选中的客户端将生成更具类别平衡性的组数据集，并具有理论保证。大量实验结果表明 Fed-CBS 优于现状方法。此外，它取得了可与甚至优于所有可用客户端都参与 FL 训练这一理想设定相媲美的性能。
引用
@article{arxiv.2209.15245,
title = {Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction},
author = {Jianyi Zhang and Ang Li and Minxue Tang and Jingwei Sun and Xiang Chen and Fan Zhang and Changyou Chen and Yiran Chen and Hai Li},
journal= {arXiv preprint arXiv:2209.15245},
year = {2023}
}
备注
ICML 2023