面向高效联邦学习的客户端选择与梯度压缩自适应控制
分布式、并行与集群计算
2022-12-20 v1 机器学习
摘要
联邦学习（FL）允许多个客户端在不泄露本地数据的情况下协作训练模型。然而，现有工作未能解决 FL 中所有这些实际关切：有限的通信资源、动态的网络条件和异构的客户端属性，这些因素减缓了 FL 的收敛速度。为应对上述挑战，我们提出了一个名为 FedCG 的异构感知 FL 框架，该框架具有自适应的客户端选择和梯度压缩功能。具体来说，参数服务器（PS）会考虑统计异构性，选择一个具有代表性的客户端子集，并将全局模型发送给它们。在本地训练后，这些被选中的客户端将与其能力相匹配的压缩模型更新上传至 PS 进行聚合，这显著减轻了通信负载并缓解了落后者的影响。我们从理论上分析了客户端选择和梯度压缩对收敛性能的影响。在推导出的收敛速率的指导下，我们开发了一种基于迭代的算法，利用子模最大化和线性规划来联合优化客户端选择和压缩率决策。在真实世界原型和仿真上的大量实验表明，与其他方法相比，FedCG 可以提供高达 5.3 倍的加速。
引用
@article{arxiv.2212.09483,
title = {Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning},
author = {Zhida Jiang and Yang Xu and Hongli Xu and Zhiyuan Wang and Chen Qian},
journal= {arXiv preprint arXiv:2212.09483},
year = {2022}
}