FedLP：面向通信与计算高效联邦学习的分层剪枝机制
机器学习
2023-03-14 v1 人工智能
分布式、并行与集群计算
多智能体系统
摘要
联邦学习(FL)作为一种高效且保护隐私的分布式学习方案已广为流行。本文主要从剪枝的视角优化联邦学习中的计算与通信。通过在本地训练与联邦更新中采用分层剪枝，我们构建了一个显式的联邦学习剪枝框架 FedLP（Federated Layer-wise Pruning，联邦分层剪枝），该框架与模型无关，可通用于不同类型的深度学习模型。针对同构本地模型与异构本地模型两种场景，设计了 FedLP 的两类具体方案。理论与实验评估均表明，FedLP 以微小的性能衰减缓解了通信与计算的系统瓶颈。据我们所知，FedLP 是首个将分层剪枝正式引入联邦学习的框架。在联邦学习范畴内，可基于 FedLP 进一步设计更多变体与组合。
引用
@article{arxiv.2303.06360,
title = {FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning},
author = {Zheqi Zhu and Yuchen Shi and Jiajun Luo and Fei Wang and Chenghui Peng and Pingyi Fan and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2303.06360},
year = {2023}
}