部分参与下加速混合联邦学习的收敛
分布式、并行与集群计算
2024-05-21 v2 机器学习
摘要
过去几年，联邦学习（FL）已成为一种流行的分布式机器学习范式。FL涉及一组拥有去中心化数据的客户端，在中心服务器协调下协作学习通用模型，目标是通过确保本地数据集不离客户端、服务器仅执行模型聚合来保护客户端隐私。然而在现实场景中，服务器可能能收集少量近似模拟总体分布的数据，并具备更强计算能力执行学习过程。为此，本文关注混合FL框架。虽有混合FL先前工作表明客户端与服务器交替训练可加快收敛，但其聚焦于客户端完全参与场景，忽略了部分参与的负面影响。本文对客户端部分参与下的混合FL进行理论分析，验证部分参与是收敛速度的关键制约。我们进而提出称为FedCLG的新算法，探究服务器在混合FL中的双重作用：其一，服务器需利用其少量本地数据集执行训练步骤；其二，服务器计算的梯度需引导参与客户端的训练及服务器聚合。我们通过数值实验验证理论发现，表明所提FedCLG方法优于最先进方法。
引用
@article{arxiv.2304.05397,
title = {Accelerating Hybrid Federated Learning Convergence under Partial Participation},
author = {Jieming Bian and Lei Wang and Kun Yang and Cong Shen and Jie Xu},
journal= {arXiv preprint arXiv:2304.05397},
year = {2024}
}
备注
Accepted by IEEE Transactions on Signal Processing, Update the convergence analysis and add more experiment results