FedMef：面向内存高效的联邦动态剪枝
机器学习
2024-03-25 v1 分布式、并行与集群计算
摘要
联邦学习（FL）在优先保障数据机密性的同时促进了去中心化训练。然而，由于训练深度学习模型对计算和内存资源的高需求，其在资源受限设备上的应用面临挑战。神经网络剪枝技术，如动态剪枝，可以提升模型效率，但将其直接应用于联邦学习中仍存在诸多重大挑战，包括剪枝后性能下降、高激活内存占用等。为解决这些挑战，我们提出了FedMef，一个新颖且内存高效的联邦动态剪枝框架。FedMef包含两个关键组件。首先，我们引入了预算感知挤压机制，通过在给定预算内挽救被标记为待剪枝参数中的关键信息，在保持剪枝效率的同时保留剪枝后性能。其次，我们提出了缩放激活剪枝技术，以有效减少激活内存占用，这对于将联邦学习部署到内存受限设备上尤为有益。大量实验证明了我们提出的FedMef的有效性。特别是，与最先进的方法相比，它在获得卓越准确率的同时，实现了28.5%的显著内存占用降低。
引用
@article{arxiv.2403.14737,
title = {FedMef: Towards Memory-efficient Federated Dynamic Pruning},
author = {Hong Huang and Weiming Zhuang and Chen Chen and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2403.14737},
year = {2024}
}
备注
Accepted by CVPR2024