适用于低资源聚合语言的大型语言模型适应：LoRA 与 QLoRA 的比较研究
计算与语言
2026-05-07 v1
摘要
本文提出了针对 Bashkir 语言——一门低资源的聚合语言——应用 LoRA 和 QLoRA 等参数高效微调（PEFT）方法的比较研究。对 Bashkir 文本语料库（71k 文档，46.9M token）上的实验评估采用多种模型架构：DistilGPT2、GPT-2（base, medium）、Phi-2、Qwen2.5-7B、DeepSeek-7B 和 Mistral-7B。为提高结果可靠性，每个配置使用三个不同的随机种子进行训练。测试集上最低的 perplexity 由 GPT-2 medium 进行全参数微调获得（3.34）。与此同时，QLoRA 应用于 Mistral-7B（3.79）和 Phi-2（3.81）在超过40倍更少的可训练参数下实现了可比的质量。然而，我们也观察到在某些架构上使用 PEFT 会导致显著的质量下降（例如 DeepSeek-7B 使用 rank 8 时，perplexity = 129.55），表明结果在基模型及其 tokenizer 的选择上具有关键性。此外，基于 Bashkir 提示生成的文本的定性分析显示，perplexity 最低的模型并不一定产生最具连贯性的输出：QLoRA 微调的模型生成单一语种的 Bashkir 续写，而最低 perplexity 的完全微调模型经常切换到英文。结果表明，QLoRA 在 7B 规模模型上为 Bashkir 提供了质量与计算成本之间的有效折中。为确保可重复性，数据、代码和训练好的适配器将在接受后公开。
引用
@article{arxiv.2605.04948,
title = {Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir},
author = {Mullosharaf K. Arabov and Svetlana S. Khaybullina},
journal= {arXiv preprint arXiv:2605.04948},
year = {2026}
}
备注
Preprint