多少参数才是您的任务真正所需？基于 LLM-Sieve 的任务特定剪枝
机器学习
2025-10-07 v2 人工智能
计算与语言
摘要
随着大型语言模型 (LLM) 越来越多地用于资源受限环境中的狭窄任务，一个核心问题随之而来：某个任务真正需要多少参数？我们提出了 LLM-Sieve 框架，通过剪枝 LLM 以保留任务性能所必需的最小参数子集。我们的方法引入了两种创新：(i) 输出对齐的非正交投影，相较于传统 PCA/SVD 能更忠实地逼近低秩矩阵，方法直接与图层输出对齐；(ii) 通过遗传算法实现自适应剪枝，自动发现特定矩阵的剪枝水平，揭示任务相关知识的不均匀分布。在38亿至70亿参数的模型上，LLM-Sieve 可删除20%-75%的权重，仅产生1%-5%的精度损失——显著优于先前的剪枝方法。除了效率之外，我们的框架揭示了集中关键知识的瓶颈矩阵，暗示了未来 LLM 设计的架构意义。LLM-Sieve 无缝集成 LoRA 微调和量化，实现高效部署并深化对 LLM 知识组织的理解。
引用
@article{arxiv.2505.18350,
title = {How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve},
author = {Waleed Reda and Abhinav Jangda and Krishna Chintalapudi},
journal= {arXiv preprint arXiv:2505.18350},
year = {2025}
}