针对特定任务优化的剪枝LLaMA模型：利用任务特定提示进行少样本学习
人工智能
2025-01-10 v2
摘要
大型语言模型在语言理解和生成方面表现出惊人的熟练程度。然而，无论是最简单的十亿参数变体，都需要巨大的计算资源，使得许多组织难以经济实施。鉴于大型语言模型作为通用任务求解器的角色，本文研究其任务特定的微调。我们采用任务特定数据集和提示，对两个被剪枝的LLaMA模型（分别具有50亿和40亿参数）进行微调。这一过程利用预训练权重并通过LoRA方法聚焦于子集权重。LLaMA模型微调的一个挑战是为特定任务构建精确的提示。为此，我们提出了一种新方法，在任务特定性和提示有效性两个主要约束下微调LLaMA模型。我们的methods，Tailored LLaMA，首先采用结构化剪枝将模型规模从70亿参数减小至50亿和40亿参数。随后，它应用针对特定任务设计的提示，并利用LoRA方法加快微调过程。此外，对被剪枝50%的模型进行少于一小时的微调，可通过50次few-shot学习，将分类任务的平均准确率恢复到50亿参数压缩比例下的95.68%，以及50亿参数压缩比例下的86.54%。我们对Tailored LLaMA在这两个被剪枝变体上的验证表明，即使压缩至50%，模型在few-shot分类和生成任务中仍保持超过65%的基线模型准确率。这些发现凸显了在显著减小模型规模的同时，我们方法在保持高性能方面的有效性。
关键词
引用
@article{arxiv.2410.19185,
title = {Tailored-LLaMA: Optimizing Few-Shot Learning in Pruned LLaMA Models with Task-Specific Prompts},
author = {Danyal Aftab and Steven Davy},
journal= {arXiv preprint arXiv:2410.19185},
year = {2025}
}