LoRA-SP：面向大型语言模型资源高效微调的精简部分参数自适应
机器学习
2024-03-15 v1 计算与语言
摘要
为解决微调大型语言模型（LLM）的计算与内存需求问题，我们提出了 LoRA-SP（精简部分参数自适应），一种在低秩自适应（LoRA）框架内利用随机半选择性参数冻结的新方法。该方法有效平衡了预训练知识的保留与针对特定任务优化的适应性。通过随机机制，LoRA-SP 决定更新或冻结哪些参数，在不损害模型性能的前提下显著降低了计算与内存需求。我们在多个基准 NLP 任务上评估了 LoRA-SP，结果表明，与传统全参数微调及其他参数高效技术相比，它能够以大幅降低的资源消耗实现具有竞争力的性能。LoRA-SP 的创新方法不仅促进了先进 NLP 模型在资源受限环境中的部署，也为探索高效且高能效的模型自适应策略开辟了新的研究途径。
引用
@article{arxiv.2403.08822,
title = {LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models},
author = {Yichao Wu and Yafei Xiang and Shuning Huo and Yulu Gong and Penghao Liang},
journal= {arXiv preprint arXiv:2403.08822},
year = {2024}
}