使用LoRA PEFT调优适用于低资源语言的多语言LLMs的挑战
计算与语言
2024-11-28 v1 机器学习
摘要
大型语言模型(LLMs)在多语言能力方面展现出惊人的性能，但在为低资源语言适配这些模型时仍面临挑战。本研究我们检验了低秩适应(LoRA)参数高效微调(PEFT)对多语言Gemma模型适用于马拉努什语(一种资源有限的语言)的效果。我们使用包含52,000个指令-响应对的翻译Alpaca数据集。我们的发现表明，虽然评估指标常显示微调后性能下降，但手动评估经常表明微调后的模型优于其原型。这些观察表明，目标语言生成能力的改进，但在语言适应后推理能力受到削弱。这些结果凸显了需要改进评估方法论以及创建高质量本土数据集以准确评估低资源环境中语言特定模型性能的必要性。
引用
@article{arxiv.2411.18571,
title = {Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning},
author = {Omkar Khade and Shruti Jagdale and Abhishek Phaltankar and Gauri Takalikar and Raviraj Joshi},
journal= {arXiv preprint arXiv:2411.18571},
year = {2024}
}