FedPaI：通过在初始化时剪枝实现联邦学习极端稀疏化
机器学习
2025-04-02 v1 人工智能
摘要
联邦学习（FL）使边缘设备上的分布式训练成为可能，但由于边缘环境中的资源限制，这会显著影响通信和计算效率。现有的迭代式剪枝技术改进了通信效率，但受限于其集中式设计，难以适应FL的去中心化和数据不平衡特性，导致稀疏化水平次优。为解决这些问题，我们提出了FedPaI—a一种新型高效FL框架，利用初始化时剪枝（PaI）实现极端稀疏化。FedPaI在训练初期识别最优稀疏连接，最大化模型容量，通过固定稀疏模式显著减少通信和计算开销。为适应多样化的硬件和软件环境，FedPaI支持结构化和非结构化剪枝。此外，我们引入了针对性的客户端侧剪枝机制以提高学习容量和稀疏感知的服务器端聚合以提高效率。实验结果表明，FedPaI在效率和模型准确率方面 consistently 优于采用常规迭代剪枝的现有高效FL方法。对于第一次，我们提出的FedPaI实现了最高可达98%的极端稀疏水平，同时在非IID设置下仍不影响与未剪枝基线相当的模型准确率。通过采用FedPaI并联合优化模型学习容量和稀疏性，FL应用可实现更快的收敛速度，并将训练加快6.4至7.9倍。
引用
@article{arxiv.2504.00308,
title = {FedPaI: Achieving Extreme Sparsity in Federated Learning via Pruning at Initialization},
author = {Haonan Wang and Zeli Liu and Kajimusugura Hoshino and Tuo Zhang and John Paul Walters and Stephen Crago},
journal= {arXiv preprint arXiv:2504.00308},
year = {2025}
}