面向高效异步联邦学习的本地更新与梯度压缩联合方法
分布式、并行与集群计算
2024-07-09 v1 机器学习
摘要
异步联邦学习（AFL）面临着由设备异构性（例如，其计算能力）和低带宽环境带来的固有挑战，这两者都可能导致用于全局聚合的模型更新（例如，本地梯度）过时。缓解更新过时的传统方法通常侧重于调整本地更新或梯度压缩，但并非两者兼顾。认识到这一差距，我们引入了一种协同本地更新与梯度压缩的新方法。我们的研究首先考察了本地更新频率与梯度压缩率之间的相互作用，以及它们对收敛速度的集体影响。理论上限表明，每个设备的本地更新频率和梯度压缩率由其计算能力、通信能力等因素共同决定。在此基础上，我们提出了一个名为FedLuck的AFL框架，该框架自适应地优化本地更新频率和梯度压缩率。在图像分类和语音识别上的实验表明，与基线相比，FedLuck在异构和低带宽场景下平均减少了56%的通信消耗和55%的训练时间，同时达到了有竞争力的性能。
引用
@article{arxiv.2407.05125,
title = {A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning},
author = {Jiajun Song and Jiajun Luo and Rongwei Lu and Shuzhao Xie and Bin Chen and Zhi Wang},
journal= {arXiv preprint arXiv:2407.05125},
year = {2024}
}