RoQLlama：轻量级罗马尼亚语适配语言模型
计算与语言
2024-10-08 v1
摘要
近年来开源大型语言模型 (LLM) 在英文语言任务上的取得的显著成就主要集中于此。在本文中，我们致力于提升 Llama2 模型在罗马尼亚语任务上的性能。我们通过使用 QLoRA 进行训练来解决计算资源受限的问题。我们发布了 RoQLlama-7b，这一量化 LLM，在针对七个罗马尼亚语下游任务进行零样本测试时，显示出与其全尺寸版本等价或更好的结果。同时，它在所有少样本提示下均实现了更高的平均得分。此外，我们引入了一种新型罗马尼亚数据集，即 RoMedQA，其中包含单选医学问题。
引用
@article{arxiv.2410.04269,
title = {RoQLlama: A Lightweight Romanian Adapted Language Model},
author = {George-Andrei Dima and Andrei-Marius Avram and Cristian-George Crăciun and Dumitru-Clementin Cercel},
journal= {arXiv preprint arXiv:2410.04269},
year = {2024}
}
备注
Accepted at EMNLP Findings 2024 (short papers)