并非所有LoRA参数都是必需的：关于推理必要性的洞见
计算与语言
2025-04-01 v1
摘要
当前关于LoRA的研究主要聚焦于最小化微调参数数量或优化其架构。然而，所有微调的LoRA层在推理阶段是否必需仍未得到充分探讨。本文我们检验每个LoRA层对模型预测真实值能力的贡献，并假设较低层次的LoRA模块在模型推理与理解中发挥更关键的作用。为此，我们提出一种简单且有效的方法来提升使用LoRA微调的大型语言模型(LLM)的性能。具体而言，我们通过分析少量验证样本识别出一个“边界层”，以区分必需的LoRA层。在推理阶段，我们丢弃该边界之外的所有LoRA层。我们在三个强大的基线模型上测试，并在四个广泛使用的数据集上进行评估。我们的结果显示，在保留关键LoRA层进行推理时，方法能够实现持续且显著的改进，凸显了在推理阶段选择性保留关键LoRA层的有效性。
引用
@article{arxiv.2503.23360,
title = {Not All LoRA Parameters Are Essential: Insights on Inference Necessity},
author = {Guanhua Chen and Yutong Yao and Ci-Jun Gao and Lidia S. Chao and Feng Wan and Derek F. Wong},
journal= {arXiv preprint arXiv:2503.23360},
year = {2025}
}