探索大语言模型的联邦剪枝
机器学习
2025-05-21 v1 人工智能
摘要
LLM 剪枝已成为压缩大语言模型的有前景技术，使其能够部署在资源受限设备上。然而，现有方法通常需要访问公共校准样本，这在隐私敏感领域可能难以获取。为解决此问题，我们引入 FedPrLLM，一个用于隐私保护压缩 LLM 的全面联邦剪枝框架。在 FedPrLLM 中，每个客户端仅需基于其本地校准数据计算一个剪枝掩码矩阵，并与服务器共享以剪枝全局模型。该方法允许在保护各客户端本地数据隐私的前提下，利用各客户端的知识协作剪枝全局模型。此外，我们进行了广泛实验以探索 FedPrLLM 框架内的各种可能性，包括不同的对比组、剪枝策略以及是否缩放权重。我们的广泛评估表明，一次性剪枝结合层间比较且不缩放权重是 FedPrLLM 框架中的最优选择。我们希望我们的工作将有助于指导隐私敏感领域中的 LLM 剪枝未来研究。我们的代码位于 https://github.com/Pengxin-Guo/FedPrLLM。
引用
@article{arxiv.2505.13547,
title = {Exploring Federated Pruning for Large Language Models},
author = {Pengxin Guo and Yinong Wang and Wei Li and Mengting Liu and Ming Li and Jinkai Zheng and Liangqiong Qu},
journal= {arXiv preprint arXiv:2505.13547},
year = {2025}
}