聚类采样:联邦学习中提升客户端代表性与降低方差的客户端选择方法
机器学习
2021-05-24 v2 人工智能
摘要
本工作解决联邦学习(FL)中服务器与客户端间通信优化问题。当前 FL 中的采样方法要么存在偏差,要么在服务器-客户端通信与训练稳定性方面非最优。为克服该问题,我们引入用于客户端选择的聚类采样(clustered sampling)。我们证明聚类采样可提升客户端代表性,并降低 FL 中客户端随机聚合权重的方差。与我们的理论一致,我们提供两种不同的聚类方法以实现基于 1)样本量及 2)模型相似度的客户端聚合。通过在非独立同分布与非平衡场景的一系列实验,我们证明相较于标准采样方法,基于聚类采样的模型聚合在训练收敛性与变异性上均持续更优。我们的方法无需在客户端侧进行任何额外操作,并可无缝集成于标准 FL 实现中。最后,聚类采样兼容现有的隐私增强方法及通过模型压缩降低通信的技术。
引用
@article{arxiv.2105.05883,
title = {Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning},
author = {Yann Fraboni and Richard Vidal and Laetitia Kameni and Marco Lorenzi},
journal= {arXiv preprint arXiv:2105.05883},
year = {2021}
}