面向领域特定大语言模型的统一调优与结构剪枝
计算与语言
2024-12-23 v2 人工智能
摘要
现有针对领域特定应用的大语言模型剪枝技术通常遵循两阶段流程：先剪枝预训练的通用大语言模型，再在特定领域上微调剪枝后的模型。然而，基于预训练权重得到的剪枝决策在微调过程中保持不变，即使权重已经更新。因此，这种剪枝决策与微调权重的组合可能不是最优的，导致不可忽视的性能下降。为解决这些局限性，我们提出ATP：统一调优与结构剪枝，一种统一的单阶段结构剪枝与微调方法，通过可训练的剪枝决策生成器在微调阶段动态识别当前最优子结构。此外，鉴于领域特定应用可用数据有限，低秩适应成为微调大语言模型的常用技术。在ATP中，我们引入LoRA感知的前向和稀疏正则化，确保学习到的剪枝决策对应的子结构可以在ATP过程后直接移除。在法律和医疗领域的任务上，ATP优于最先进的两阶段剪枝方法。更具体地说，当剪枝LLaMA2-7B和LLaMA3-8B模型40%的参数时，ATP分别恢复了稠密模型88%和91%的性能。
引用
@article{arxiv.2412.14426,
title = {All-in-One Tuning and Structural Pruning for Domain-Specific LLMs},
author = {Lei Lu and Zhepeng Wang and Runxue Bao and Mengbing Wang and Fangyi Li and Yawen Wu and Weiwen Jiang and Jie Xu and Yanzhi Wang and Shangqian Gao},
journal= {arXiv preprint arXiv:2412.14426},
year = {2024}
}
备注
Updated a typo in the author list;