剪枝作为领域特定的大语言模型提取器
计算与语言
2024-05-13 v1
摘要
大语言模型（LLMs）在广泛的自然语言处理（NLP）任务中表现出卓越的能力。然而，模型规模的扩大也带来了巨大的部署成本。尽管已有少数研究探索了模型剪枝技术以减小LLMs的规模，但它们主要集中在通用或任务特定的权重上。当应用于领域特定的挑战时，这会导致性能欠佳，原因在于缺乏对目标领域的特异性或在不同任务上的通用性。本工作引入了一种创新的非结构化双重剪枝方法——D-Pruner，用于LLM的领域特定压缩。它通过识别对通用能力（如语言能力和多任务解决能力）和领域特定知识至关重要的LLM权重，提取出一个压缩的、领域特定的、任务无关的LLM。更具体地说，我们首先借助一个开放域校准数据集，通过量化移除权重时产生的误差来评估通用权重重要性。然后，我们利用这种通用权重重要性来细化训练损失，使其在拟合特定领域时保留通用性。此外，通过在领域特定校准数据集上使用细化后的训练损失高效地近似权重重要性，我们获得了一个强调通用性和特异性的剪枝模型。我们在医疗和法律领域的各种任务上进行的全面实验，展示了D-Pruner在领域特定压缩方面的有效性。我们的代码可在https://github.com/psunlpgroup/D-Pruner获取。
引用
@article{arxiv.2405.06275,
title = {Pruning as a Domain-specific LLM Extractor},
author = {Nan Zhang and Yanchi Liu and Xujiang Zhao and Wei Cheng and Runxue Bao and Rui Zhang and Prasenjit Mitra and Haifeng Chen},
journal= {arXiv preprint arXiv:2405.06275},
year = {2024}
}
备注
NAACL 2024 Findings