稀疏-ProxSkip：联邦学习中加速的稀疏到稀疏训练
机器学习
2025-03-03 v2 最优化与控制
摘要
在联邦学习 (FL) 中，客户端资源受限和通信成本是大型模型训练的主要问题。在集中式设置中，稀疏训练可解决资源受限问题，而在分布式设置中，本地训练可解决通信成本问题。最近的研究表明，本地训练通过加速显著改善了通信复杂度。在本工作中，我们表明在 FL 中，稀疏训练和加速的简单集成会失败，并提供了理论和实证解释。我们引入 Sparse-ProxSkip 以解决此问题，并将 Straight-Through Estimator 剪枝技术有效地集成到稀疏训练中。我们在大量实验中展示了 Sparse-ProxSkip 的性能。
引用
@article{arxiv.2405.20623,
title = {Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning},
author = {Georg Meinhardt and Kai Yi and Laurent Condat and Peter Richtárik},
journal= {arXiv preprint arXiv:2405.20623},
year = {2025}
}