面向大语言模型的双阶段正则化结构化剪枝
机器学习
2026-04-21 v4 人工智能
计算与语言
摘要
大型语言模型（LLM）的部署受限于参数规模庞大。结构化剪枝已成为解决这一问题的有力手段。然而，现有结构化剪枝方法直接基于某些指标删除不重要的参数，往往导致知识丢失，且需要大量再训练。为此，我们提出了一种新型剪枝方法 TRSP（Two-Stage Regularization-Based Structured Pruning for LLMs）。具体而言，我们对每个 transformer 层的输出乘以一个初始可学习权重，并通过将其 -范数作为正则化项加入损失函数中，以迭代方式学习这些权重，作为第一阶段的正则化。随后，我们对具有较小权重的层的输出与输入之间的差异施加额外正则化，鼓励知识向被保留下来的层转移。这一第二阶段正则化使得 TRSP 在知识保留和模型性能保持方面优于直接参数消除。通过大量实验，我们展示了 TRSP 在无需再训练的情况下超越了强大的基于层的结构化剪枝方法。作为一种基于层的剪枝方法，TRSP 实现了显著的端到端加速，展现出高效部署大语言模型的潜力。代码已公开于 https://github.com/fmk345/TRSP。
引用
@article{arxiv.2505.18232,
title = {Two-Stage Regularization-Based Structured Pruning for LLMs},
author = {Mingkuan Feng and Jinyang Wu and Siyuan Liu and Shuai Zhang and Hongjian Fang and Ruihan Jin and Feihu Che and Pengpeng Shao and Zhengqi Wen and Jianhua Tao},
journal= {arXiv preprint arXiv:2505.18232},
year = {2026}
}
备注
ACL 2026 Main