FedDUAP：利用服务器端共享数据实现动态更新与自适应剪枝的联邦学习
分布式、并行与集群计算
2022-04-26 v1 人工智能
摘要
尽管取得了显著性能，联邦学习（FL）仍面临两个关键挑战，即有限的计算资源与较低的训练效率。本文提出一种新颖的FL框架，即FedDUAP，包含两项原创贡献，以利用服务器上的不敏感数据与边缘设备中的去中心化数据进一步提升训练效率。首先，设计动态服务器更新算法来利用服务器上的不敏感数据，以动态确定服务器更新的最优步数，从而提升全局模型的收敛性与精度。其次，开发层自适应模型剪枝方法，执行适应多层不同维度与重要性的独特剪枝操作，以在效率与效果间取得良好平衡。通过整合这两项原创技术，我们所提出的FL模型FedDUAP在精度（最高高4.8%）、效率（最高快2.8倍）与计算成本（最高小61.9%）方面显著优于基线方法。
引用
@article{arxiv.2204.11536,
title = {FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server},
author = {Hong Zhang and Ji Liu and Juncheng Jia and Yang Zhou and Huaiyu Dai and Dejing Dou},
journal= {arXiv preprint arXiv:2204.11536},
year = {2022}
}
备注
To appear in IJCAI, 7 pages, 4 figures, 2 tables