FedLPS：基于局部参数共享的多任务异构联邦学习
机器学习
2024-02-14 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）已成为边缘计算（EC）环境中处理边缘设备激增数据的有效解决方案。通过在分布式边缘设备上协同优化全局机器学习模型，FL 避免了传输原始数据的需求并增强了用户隐私。尽管取得了一定的实践成功，FL 仍面临重大挑战，包括边缘设备资源受限、多任务部署和数据异构性。然而，现有研究侧重于降低单个任务的 FL 训练成本，却忽略了异构 FL 场景下跨多任务的资源消耗。在本文中，我们提出了基于局部参数共享的异构联邦学习以填补这一空白。FedLPS 利用迁移学习原理，通过将局部模型划分为可共享编码器和任务特定编码器，促进在单一设备上部署多个任务。为进一步减少资源消耗，FedLPS 采用了一种逐通道模型剪枝算法，该算法在考虑数据和系统异构性的同时缩小了局部模型的占用空间。此外，还提出了一种新颖的异构模型聚合算法来聚合 FedLPS 中的异构预测器。我们在真实的 FL 平台上实现了所提出的 FedLPS，并将其与最先进的（SOTA）FL 框架进行了比较。在五个流行数据集和两个现代 DNN 模型上的实验结果表明，所提出的 FedLPS 显著优于 SOTA FL 框架（最高达 4.88%），并将计算资源消耗降低了 21.3%。我们的代码可在以下地址获取：https://github.com/jyzgh/FedLPS。
引用
@article{arxiv.2402.08578,
title = {FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing},
author = {Yongzhe Jia and Xuyun Zhang and Amin Beheshti and Wanchun Dou},
journal= {arXiv preprint arXiv:2402.08578},
year = {2024}
}
备注
Accepted by AAAI 2024