中文

FedSampling:一种更优的联邦学习采样策略

机器学习 2023-06-27 v1

摘要

联邦学习(FL)是一种以隐私保护方式从去中心化数据中学习模型的重要技术。现有 FL 方法通常在每轮中均匀采样客户端进行本地模型学习。然而,不同客户端的数据量可能差异显著,数据较多的客户端无法获得更多机会贡献于模型训练,这可能导致性能下降。本文中,我们提出一种新颖的数据均匀采样策略 FedSampling 用于联邦学习,以替代客户端均匀采样,该策略可有效提升联邦学习性能,尤其在客户端间数据量分布高度不平衡时。在每轮联邦学习中,各客户端的本地数据依据基于服务器期望样本量与所有可用客户端上总样本量的概率被随机采样以进行本地模型学习。由于各客户端数据量属隐私敏感信息,我们提出一种具差分隐私保证的隐私保护方法来估计总样本量。在四个基准数据集上的实验表明,FedSampling 能有效提升联邦学习性能。

关键词

引用

@article{arxiv.2306.14245,
  title  = {FedSampling: A Better Sampling Strategy for Federated Learning},
  author = {Tao Qi and Fangzhao Wu and Lingjuan Lyu and Yongfeng Huang and Xing Xie},
  journal= {arXiv preprint arXiv:2306.14245},
  year   = {2023}
}

备注

IJCAI 2023