Pruner-Zero: 从零开始演化大型语言模型的符号化剪枝指标
机器学习
2024-06-06 v1 计算与语言
神经与进化计算
摘要
尽管大型语言模型（LLMs）具有卓越的能力，但由于其庞大的规模，在实际部署时面临挑战。许多剪枝方法通过删除部分权重来加速推理，但它们需要重新训练，这在成本和计算资源上都不可接受。最近出现的后训练剪枝方法引入了新的指标，使能够在不重新训练的情况下对 LLMs 进行剪枝。然而，这些指标需要人类专家的参与，并且需要大量的试错。为高效识别优异的剪枝指标，我们开发了一个用于搜索符号化剪枝指标的自动框架，采用遗传编程技术。在具体而言，我们构建了详尽的搜索空间，涵盖现有的剪枝指标，以发现潜在的符号化剪枝指标。我们提出了一种对抗操作简化策略，以增加种群的多样性。如此一来，Pruner-Zero 能够自动生成符号化剪枝指标。基于搜索结果，我们探讨了剪枝指标与剪枝后性能之间的相关性，并总结了一些原则。在 LLaMA 和 LLaMA-2上的大量实验表明，我们的 Pruner-Zero 在语言建模和零样本任务上优于现有的 SOTA 后训练剪枝方法。代码地址: \url{https://github.com/pprp/Pruner-Zero}。
引用
@article{arxiv.2406.02924,
title = {Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models},
author = {Peijie Dong and Lujun Li and Zhenheng Tang and Xiang Liu and Xinglin Pan and Qiang Wang and Xiaowen Chu},
journal= {arXiv preprint arXiv:2406.02924},
year = {2024}
}
备注
Accepted by ICML2024, 29 pages, 4 figures