面向剪枝大语言模型的快速有效权重更新
计算与语言
2024-07-23 v2 机器学习
摘要
由于大语言模型（LLM）尺寸巨大，对其进行剪枝是一项具有挑战性的任务。主要难点在于剪枝后的模型微调，这是恢复因丢弃权重而损失的性能所必需的。近期的方法要么完全忽略微调而专注于高效的剪枝标准，要么尝试逐层权重更新以保持每层的行为。然而，对于LLM而言，即使是逐层权重更新也可能代价高昂，因此以往的工作采用了各种近似方法。在本文中，我们提出了一种基于交替方向乘子法（ADMM）的快速且有效的剪枝层权重更新算法。我们进一步通过简单的渐进式剪枝掩码选择对其进行扩展，并在广泛的LLM上实现了SOTA剪枝性能。代码可在 https://github.com/fmfi-compbio/admm-pruning 获取。
引用
@article{arxiv.2401.02938,
title = {Fast and Effective Weight Update for Pruned Large Language Models},
author = {Vladimír Boža},
journal= {arXiv preprint arXiv:2401.02938},
year = {2024}
}