LoRAShear：高效的大语言模型结构化剪枝与知识恢复
计算与语言
2023-11-01 v2 人工智能
机器学习
摘要
大语言模型（LLM）已经改变了人工智能的格局，而其庞大的规模在计算成本方面带来了重大挑战。我们提出LoRAShear，一种对LLM进行结构化剪枝并恢复知识的新型高效方法。给定通用LLM，LoRAShear首先构建LoRA模块上的依赖图以发现最小可移除结构并分析知识分布。随后它对LoRA适配器进行渐进式结构化剪枝，并实现固有知识迁移以更好地保留冗余结构中的信息。为恢复剪枝过程中丢失的知识，LoRAShear细致研究并提出了带有动态数据适配器的动态微调方案，以有效缩小与完整模型之间的性能差距。数值结果表明，仅使用一块GPU并在数个GPU日内，LoRAShear将LLM的占用空间减少了20%，性能下降仅1.0%，且显著优于现有最优方法。源代码将发布于 https://github.com/microsoft/lorashear。
引用
@article{arxiv.2310.18356,
title = {LoRAShear: Efficient Large Language Model Structured Pruning and Knowledge Recovery},
author = {Tianyi Chen and Tianyu Ding and Badal Yadav and Ilya Zharkov and Luming Liang},
journal= {arXiv preprint arXiv:2310.18356},
year = {2023}
}