PPC-GPT: 通过剪枝与思维链蒸馏实现联邦任务特定大语言模型压缩
计算与语言
2025-11-11 v2 人工智能
机器学习
摘要
将大语言模型（LLM）压缩为任务特定的小型语言模型（SLM）面临两个重大挑战：保护领域特定知识的隐私和管理有限资源。为应对这些挑战，我们提出了PPC-GPT，一个新颖的统一框架，系统性地同时解决隐私保护和模型压缩问题。PPC-GPT基于服务器-客户端的联邦架构，其中客户端向服务器的LLM发送经过差分隐私（DP）扰动的任务特定数据。LLM随后生成合成数据及其对应的推理链。这些合成数据随后被用于LLM剪枝和重新训练过程。我们框架的关键创新在于其对隐私保护机制、合成数据生成和任务特定压缩技术的整体集成，通过组件交互创造独特优势。我们在多样化文本生成任务上的实验表明，PPC-GPT成功实现了双重目标：在保持与完整规模LLM相当的竞争性性能的同时，通过其联邦架构确保稳健的隐私保护。我们的代码已贡献给FATE开源项目，现可公开访问。
引用
@article{arxiv.2502.15857,
title = {PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation},
author = {Tao Fan and Guoqiang Ma and Yuanfeng Song and Lixin Fan and Qiang Yang},
journal= {arXiv preprint arXiv:2502.15857},
year = {2025}
}