DarwinLM：大型语言模型的演化式结构化剪枝
机器学习
2025-03-06 v3 计算与语言
摘要
大型语言模型（LLM）在各种 NLP 任务中取得了显著成功。然而，其庞大的计算成本限制了它们的广泛使用，尤其是在实时应用中。结构化剪枝通过压缩模型并直接提供端到端的速度提升，提供了一种有效的解决方案，且不受硬件环境影响。同时，模型的不同组件对剪枝表现出不同的敏感性，需要非均匀的模型压缩。然而，剪枝方法不仅应识别出有能力的子结构，还应考虑压缩后的训练。为此，我们提出了 DarwinLM，一种训练感知的结构化剪枝方法。DarwinLM 建立在演化搜索过程之上，在每一代中通过变异生成多个子代模型，并选择最适应者存活。为了评估训练后的效果，我们在子代种群中加入了一个轻量级、多步的训练过程，逐步增加 token 数量并在每个选择阶段淘汰表现不佳的模型。我们通过在 Llama-2-7B、Llama-3.1-8B 和 Qwen-2.5-14B-Instruct 上的大量实验验证了我们的方法，实现了结构化剪枝的最先进性能。例如，DarwinLM 超越了 ShearedLlama，同时在压缩后训练期间所需的训练数据减少了 5 倍。代码位于：https://github.com/IST-DASLab/DarwinLM
引用
@article{arxiv.2502.07780,
title = {DarwinLM: Evolutionary Structured Pruning of Large Language Models},
author = {Shengkun Tang and Oliver Sieberling and Eldar Kurtic and Zhiqiang Shen and Dan Alistarh},
journal= {arXiv preprint arXiv:2502.07780},
year = {2025}
}
备注
Code: https://github.com/IST-DASLab/DarwinLM