基于剪枝与恢复的联邦学习
机器学习
2024-03-26 v1 分布式、并行与集群计算
摘要
提出了一种面向异构环境的新型联邦学习训练框架，考虑了现实场景中客户端不同的网络速度。该框架集成了异步学习算法和剪枝技术，有效解决了传统联邦学习算法在异构设备场景下的低效问题，以及异步算法中某些客户端的陈旧性和训练不足问题。通过在训练过程中逐步恢复模型大小，该框架在保持模型精度的同时加速了模型训练。此外，对联邦学习聚合过程进行了改进，引入了缓冲机制，使异步联邦学习能够像同步学习一样运行。同时，服务器向客户端传输全局模型的过程中的优化减少了通信开销。我们在多个数据集上的实验表明：（i）与传统的异步联邦学习和HeteroFL相比，训练时间显著减少，收敛精度提高；（ii）在异构客户端和非独立同分布客户端数据场景下，我们的方法的优势更加明显。
引用
@article{arxiv.2403.15439,
title = {Federated Learning based on Pruning and Recovery},
author = {Chengjie Ma},
journal= {arXiv preprint arXiv:2403.15439},
year = {2024}
}