DenoiseRotator：通过重要性集中增强 LLM 的剪枝鲁棒性
机器学习
2025-12-18 v2 计算与语言
摘要
剪枝是一种通过移除不重要的权重来压缩大型语言模型 (LLM) 的广泛使用的技术，但它往往会导致显著的性能下降——尤其是在半结构化稀疏性约束下。现有的剪枝方法主要关注估计单个权重的重要性，这限制了它们保留模型关键能力的能力。在这项工作中，我们提出了一个新视角：与其仅仅选择要剪枝的权重，我们首先重新分配参数重要性，使模型本质上更易于剪枝。通过最小化归一化重要性分数的信息熵，我们的方法将重要性集中到更小的权重子集上，从而增强剪枝鲁棒性。我们通过 DenoiseRotator 实例化这一想法，它对模型的权重矩阵应用可学习的正交变换。我们的方法可以无缝集成到现有的剪枝技术中，如 Magnitude、SparseGPT 和 Wanda。在 LLaMA3、Qwen2.5 和 Mistral 模型上以 50% 非结构化和 2:4 半结构化稀疏性进行评估，DenoiseRotator 持续改善了困惑度和零样本准确率。例如，在以 2:4 半结构化稀疏性使用 SparseGPT 剪枝的 LLaMA3-70B 上，DenoiseRotator 将与稠密模型的困惑度差距减少了 58%，将退化从 8.1 点缩小到 3.4 点。代码可在 https://github.com/Axel-gu/DenoiseRotator 获取。
引用
@article{arxiv.2505.23049,
title = {DenoiseRotator: Enhance Pruning Robustness for LLMs via Importance Concentration},
author = {Tianteng Gu and Bei Liu and Bo Xiao and Ke Zeng and Jiacheng Liu and Yanmin Qian},
journal= {arXiv preprint arXiv:2505.23049},
year = {2025}
}
备注
Accepted at NeurIPS 2025