如何剪枝你的语言模型：在“稀疏可能哭泣”基准上恢复准确率
计算与语言
2023-12-22 v1
摘要
对BERT系列大语言模型（LLMs）进行剪枝已成为标准的压缩基准，为此任务提出了多种剪枝方法。最近的“稀疏可能哭泣”（SMC）基准对所有现有方法的有效性提出了质疑，它展示了一个更复杂的设置，其中许多已知的剪枝方法似乎失效。我们重新审视在下游数据集微调期间进行准确BERT剪枝的问题，并提出了一套通用指南，即使在具有挑战性的SMC基准上也能成功剪枝。首先，我们对剪枝模型组件（如嵌入和分类头）进行成本效益分析；其次，我们提供了一种简单而通用的方法，根据所需的目标稀疏度来缩放训练、稀疏化和学习率调度；最后，我们研究了在LLM背景下知识蒸馏中适当参数化的重要性。我们简单的见解在经典BERT剪枝基准以及SMC基准上都取得了最先进的结果，表明即使是经典的渐进幅度剪枝（GMP），只要方法得当，也能产生有竞争力的结果。
引用
@article{arxiv.2312.13547,
title = {How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark},
author = {Eldar Kurtic and Torsten Hoefler and Dan Alistarh},
journal= {arXiv preprint arXiv:2312.13547},
year = {2023}
}
备注
Accepted as oral to CPAL 2024