节省你的大语言模型：基于合并任务相关重要性得分的时间维全面剪枝
机器学习
2026-05-27 v3
摘要
大型语言模型（LLMs）展现出惊人的能力，但其庞大的规模在实际部署方面带来了重大挑战。结构化剪枝作为一种有前景的解决方案，通过删除 entire dimensions 或层来实现，但现有方法面临关键权衡：任务无关方法无法适应任务特定需求，而任务感知方法则需要高昂的训练成本来学习任务适应性。我们提出了 DIET（Dimension-wise global pruning of LLMs via merging Task-wise importance scores，即基于合并任务相关重要性得分的时间维全面剪枝），这是一种无需训练的结构化剪枝方法，结合了维度级别的粒度与任务感知选择。DIET 通过仅使用每个任务的 100 个样本来描绘激活 magnitudes across tasks，然后应用多数投票来构建单个全局掩码。DIET 不需要来自预计算或训练的大量成本。在使用 Gemma-2 2B 和 9B 模型进行七个零样本基准测试的实验中，证明了 DIET 的有效性；例如，在 Gemma-2 2B 上进行 20% 稀疏度时，DIET 实现了接近 10% 的平均准确率提升，与之前的基于状态化结构化剪枝方法相比。这一优势在各种稀疏度和模型规模下都保持一致，将 DIET 定位为结构化 LLM 剪枝的实用且稳健的选择。
引用
@article{arxiv.2603.23985,
title = {Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score},
author = {Jimyung Hong and Jaehyung Kim},
journal= {arXiv preprint arXiv:2603.23985},
year = {2026}
}
备注
14 pages, 10 figures. Code available at https://github.com/Jimmy145123/DIET