通过分层客户端选择实现方差缩减的异构联邦学习
机器学习
2022-04-28 v2 分布式、并行与集群计算
摘要
在近期联邦学习（FL）的研究中，客户端选择策略被广泛用于解决通信效率问题。然而，由于所选子集更新的方差较大，现有在有限采样比例下的选择方法在异构FL中的收敛性与精度表现不佳。为解决该问题，本文提出一种新颖的分层客户端选择方案，以降低方差，从而追求更好的收敛性和更高的精度。具体而言，为缓解异构性的影响，我们基于客户端本地数据分布进行分层，以得到近似同质的层，便于在各层内更好地选择。针对有限采样比例场景，我们进一步提出一种考虑层内变异性多样性的优化样本量分配方案，以期进一步降低方差。理论上，我们阐述了异构设定下不同选择方案在方差上的显式关系，并证明了所提选择方案的有效性。实验结果证实，我们的方法不仅相对最先进的方法具有更优性能，而且与主流FL算法兼容。
引用
@article{arxiv.2201.05762,
title = {Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection},
author = {Guangyuan Shen and Dehong Gao and Libin Yang and Fang Zhou and Duanxiao Song and Wei Lou and Shirui Pan},
journal= {arXiv preprint arXiv:2201.05762},
year = {2022}
}
备注
there is something wrong in the experiment