葡萄牙语问答高效微调方法：对 PEFT 在 BERTimbau 上的比较研究与生成式 LLM 的探索性评估
计算与语言
2026-03-24 v1 人工智能
机器学习
摘要
尽管大型语言模型已彻底变革自然语言处理领域，但其计算成本为低资源语言（如巴西葡萄牙语）的可达性带来了障碍。本工作对 BERTimbau 应用于 SQuAD-BR（巴西葡萄牙语 SQuAD v1 翻译版）的问答任务进行参数高效微调（PEFT）和量化技术进行系统性评估。我们评估了 40 种配置，将四种 PEFT 方法（LoRA、DoRA、QLoRA、QDoRA）应用于两种模型规模（Base：110M 参数，Large：335M 参数）。我们的发现揭示了三个关键见解：（1）LoRA 在 BERTimbau-Large 上实现了 95.8% 的基线性能，同时将训练时间缩短 73.5%（F1=81.32 vs 84.86）；（2）更高的学习率（2e-4）显著改善了 PEFT 性能，F1 分数比标准学习率提升最高可达 +19.71 分；（3）更大的模型显示出翻 quantization 的两倍抗性（F1 分数损失为 4.83 vs 9.56）。这些结果表明，编码器基模型可通过显著降低大型生成式 LLM 的计算成本，为提取式巴西葡萄牙语问答高效微调，推动更可持续的做法，符合“绿色 AI”原则。对 Tucano 和 Sabi\'a 在同一提取式 QA 基准上的探索性评估显示，尽管生成式模型通过 LoRA 微调可达到具竞争力的 F1 分数，但它们需要比 BERTimbau-Base 最多 4.2 倍的 GPU 内存和 3 倍的训练时间，强化了小型编码器架构在此任务中具有效率优势的事实。
引用
@article{arxiv.2603.21418,
title = {Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs},
author = {Mariela M. Nina and Caio Veloso Costa and Lilian Berton and Didier A. Vega-Oliveros},
journal= {arXiv preprint arXiv:2603.21418},
year = {2026}
}
备注
10 pages, 2 figures, PROPOR 2026