基于中文指令数据全参数与LoRA微调在指令跟随大语言模型上的比较研究
计算与语言
2023-04-19 v2
摘要
近年来，大语言模型的指令微调是自然语言处理领域的一项关键研究。由于资源和成本限制，若干研究者采用参数高效微调技术（如LoRA）进行指令微调，并取得了令人鼓舞的结果。与全参数微调相比，基于LoRA的微调在训练成本方面展现出显著优势。在本研究中，我们以LLaMA为基础模型，对全参数微调与基于LoRA的微调方法进行了实验比较。实验结果表明，基础模型的选择、训练数据集规模、可学习参数数量以及模型训练成本均为重要因素。我们希望本文的实验结论能为大语言模型的训练（尤其是中文领域）提供启发，并帮助研究者在训练成本与模型性能之间找到更好的权衡策略。为便于复现本文结果，我们将发布数据集、模型与代码。
引用
@article{arxiv.2304.08109,
title = {A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model},
author = {Xianghui Sun and Yunjie Ji and Baochang Ma and Xiangang Li},
journal= {arXiv preprint arXiv:2304.08109},
year = {2023}
}