SpaFL: 具有稀疏模型和低计算开销的通信高效联邦学习
机器学习
2024-12-11 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）的大通信和计算开销是其在实际部署到资源受限的客户端和系统时面临的主要挑战之一。在这项工作中，我们提出了SpaFL：一种通信高效的联邦学习框架，用于以低计算开销优化稀疏模型结构。在SpaFL中，为每个滤波器/神经元定义了一个可训练的阈值，以剪除其所有连接参数，从而实现结构化稀疏性。为了优化剪枝过程本身，服务器和客户端之间只通信阈值而不是参数，从而学习如何剪枝。此外，全局阈值通过提取聚合的参数重要性来更新模型参数。还推导了SpaFL的泛化界，从而证明了稀疏性与性能之间关系的关键见解。实验结果表明，与稀疏基线相比，SpaFL在提高准确性的同时，所需的通信和计算资源大大减少。代码可在https://github.com/news-vt/SpaFL_NeruIPS_2024获取。
引用
@article{arxiv.2406.00431,
title = {SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead},
author = {Minsu Kim and Walid Saad and Merouane Debbah and Choong Seon Hong},
journal= {arXiv preprint arXiv:2406.00431},
year = {2024}
}
备注
Published in NeurIPS 2024