模型剪枝实现 localized 且高效的联邦学习用于产量预测与数据共享
机器学习
2023-12-13 v1
摘要
联邦学习（FL）提出了一种在农业食品领域进行模型训练的分散式方法，并在确保个体农场或数据孤岛安全与隐私的同时，提供了改进机器学习性能的潜力。然而，传统FL方法存在两个主要局限。首先，个体孤岛上的异构数据可能导致全局模型对某些客户端表现良好，但并非对所有客户端都如此，因为某些客户端上的更新方向在聚合后可能阻碍其他客户端。其次，在FL期间的通信成本及大模型尺寸的效率视角上有所欠缺。本文提出了一种新技术方案，利用对客户端模型进行网络剪枝并聚合剪枝后的模型。该方法使本地模型能够适配各自的数据分布，并缓解农业食品数据中存在的异构性。此外，它允许更紧凑的模型在传输中消耗更少的数据。我们使用一个大豆产量预测数据集进行实验，发现与FedAvg相比，该方法可将推理性能提升15.5%至20%，同时将本地模型尺寸缩减至多84%，客户端与服务器间通信的数据量减少57.1%至64.7%。
引用
@article{arxiv.2304.09876,
title = {Model Pruning Enables Localized and Efficient Federated Learning for Yield Forecasting and Data Sharing},
author = {Andy Li and Milan Markovic and Peter Edwards and Georgios Leontidis},
journal= {arXiv preprint arXiv:2304.09876},
year = {2023}
}
备注
31 pages, 4 figures, 4 tables