Atlas-Chat：针对低资源摩洛哥阿拉伯方言的大语言模型适配
计算与语言
2024-11-13 v2
摘要
我们介绍Atlas-Chat，这是首个专为方言阿拉伯语开发的LLM集合。我们聚焦于摩洛哥阿拉伯语（Darija），通过整合现有的Darija语言资源，创建新数据集（包括人工和合成数据），并对英语指令进行严格的质量控制翻译，构建了指令数据集。Atlas-Chat-2B、9B和27B模型在该数据集上进行微调，显示出在跟随Darija指令方面以及执行标准NLP任务方面的优异能力。值得注意的是，我们的模型在DarijaMMLU上优于最先进的模型和阿拉伯语专用模型，如LLaMa、Jais和AceGPT，例如，我们的9B模型在DarijaMMLU上的性能比更大的13B模型高出13%。此外，我们对各种微调策略和基础模型选择进行了实验分析，以确定最佳配置。我们的所有资源均公开可用，我们相信我们的工作为低资源语言（常被现代LLM偏好的语言）的指令调优提供了全面的设计方法论。
引用
@article{arxiv.2409.17912,
title = {Atlas-Chat: Adapting Large Language Models for Low-Resource Moroccan Arabic Dialect},
author = {Guokan Shang and Hadi Abdine and Yousef Khoubrane and Amr Mohamed and Yassine Abbahaddou and Sofiane Ennadir and Imane Momayiz and Xuguang Ren and Eric Moulines and Preslav Nakov and Michalis Vazirgiannis and Eric Xing},
journal= {arXiv preprint arXiv:2409.17912},
year = {2024}
}