面向大语言模型的样本感知自适应结构化剪枝
计算与语言
2025-03-11 v1 人工智能
机器学习
摘要
大语言模型 (LLM) 在自然语言处理中取得了出色的性能，但庞大的模型规模和极高的计算成本限制了它们的实际部署。结构化剪枝可以通过移除冗余模型参数来有效降低部署所需的资源需求。然而，现有结构化剪枝方法中随机选择的校准数据和固定的单一重要性估计指标会导致剪枝后模型性能下降。本研究引入了 AdaPruner，一种面向 LLM 的样本感知自适应结构化剪枝框架，旨在优化结构化剪枝过程中的校准数据和重要性估计指标。具体而言，AdaPruner 通过构建结构化剪枝解空间，随后采用贝叶斯优化自适应地搜索最优的校准数据和重要性估计指标，从而有效地移除 LLM 中的冗余参数。实验结果表明，在不同剪枝比例的一系列 LLM 上，AdaPruner 均优于现有的结构化剪枝方法，证明了其适用性和鲁棒性。值得注意的是，在 20% 的剪枝比例下，使用 AdaPruner 剪枝的模型保持了未剪枝模型 97% 的性能。
引用
@article{arxiv.2503.06184,
title = {Sample-aware Adaptive Structured Pruning for Large Language Models},
author = {Jun Kong and Xinge Ma and Jin Wang and Xuejie Zhang},
journal= {arXiv preprint arXiv:2503.06184},
year = {2025}
}