利用共享服务器数据的动态更新与动量自适应剪枝实现高效联邦学习
分布式、并行与集群计算
2024-08-13 v1 人工智能
机器学习
摘要
尽管取得了显著性能，联邦学习 (FL) 仍面临两个重要问题，即训练效率低和计算资源有限。在本文中，我们提出了一种新的 FL 框架 FedDUMAP，包含三项原创性贡献，旨在利用服务器上的共享不敏感数据以及边缘设备中的分布式数据来高效训练全局模型。首先，我们提出了一种简单的动态服务器更新算法，利用服务器上的共享不敏感数据，同时动态调整服务器上的更新步长，以加速收敛并提高精度。其次，我们提出了一种结合动态服务器更新算法的自适应优化方法，利用服务器和每个本地设备上的全局动量以获得更优精度。第三，我们开发了一种层自适应模型剪枝方法，针对各层的不同特征执行特定的剪枝操作，从而在有效性与效率之间取得优异平衡。我们提出的 FL 模型 FedDUMAP 融合了三项原创技术，在效率（最高快 16.9 倍）、精度（最高提升 20.4%）和计算成本（最高减少 62.6%）方面均显著优于基线方法。
引用
@article{arxiv.2408.05678,
title = {Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data},
author = {Ji Liu and Juncheng Jia and Hong Zhang and Yuhui Yun and Leye Wang and Yang Zhou and Huaiyu Dai and Dejing Dou},
journal= {arXiv preprint arXiv:2408.05678},
year = {2024}
}
备注
27 pages, to appear in TIST