面向大型语言模型的自适应结构化剪枝：基于混合粒度权重重要性评估
计算与语言
2026-03-12 v6 人工智能
机器学习
摘要
大型语言模型（LLM）的结构化剪枝因能够通过消除冗余权重组在粗粒度上实现高效压缩和加速而引发广泛学术关注。当前的LLM结构化剪枝方法通常依赖单一粒度来评估权重重要性，导致下游任务中显著的性能下降。令人惊讶的是，我们的经验研究表明，使用无结构化剪枝（即以单个权重为单位进行剪枝）以实现更好的性能保持，其生成的稀疏LLM结构与结构化剪枝存在显著差异。这表明，对于LLM剪枝，同时进行整体和个体评估权重重要性是必不可少的。基于这一洞察，我们引入Hybrid-grained Weight Importance Assessment（HyWIA）方法，融合权重重要性的细粒度和粗粒度评估，用于LLM剪枝。利用注意力机制，HyWIA以端到端方式自适应地确定权重重要性评估中最佳的粒度混合比例。对LLaMA-V1/V2、Vicuna、Baichuan和Bloom进行大量实验，结果表明HyWIA在LLM剪枝方面有效。例如，在以50%稀疏率剪枝LLaMA-7B时，HyWIA在七个下游任务上的平均准确率优于最先进的LLM-Pruner高出2.82%。代码：https://github.com/azuryl/LLM-HWIA
引用
@article{arxiv.2403.10799,
title = {Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment},
author = {Jun Liu and Zhenglun Kong and Pu Zhao and Changdi Yang and Hao Tang and Xuan Shen and Geng Yuan and Wei Niu and Wenbin Zhang and Xue Lin and Dong Huang and Yanzhi Wang},
journal= {arXiv preprint arXiv:2403.10799},
year = {2026}
}
备注
AAAI 2025