达拉：面向阿拉伯方言的多模态大语言模型
计算与语言
2024-07-29 v2 人工智能
摘要
近期的进展显著提升了多模态大语言模型（MLLMs）在图像-文本生成和理解方面的能力。尽管如此，进展主要局限于英语 due to 其他语言稀缺的高质量多模态资源。这种限制阻碍了针对诸如阿拉伯语等语言开发具有竞争力的模型。为缓解这一情况，我们引入一种高效的阿拉伯语多模态助手，称为 Dallah，它利用基于 LLaMA-2 的先进语言模型来促进多模态交互。Dallah 在阿拉伯语 MLLMs 方面表现出领先水平。通过对六个阿拉伯方言进行微调，Dallah 展示了其处理复杂方言交互的能力，这些交互包含文本和视觉元素。该模型在两个基准测试中表现出色：一个评估其在现代标准阿拉伯语（MSA）上的性能，另一个专门设计来评估方言响应。除了在多模态交互任务中显示出稳健的性能之外，Dallah 有望为进一步开发面向方言的阿拉伯语 MLLMs 铺平道路。
引用
@article{arxiv.2407.18129,
title = {Dallah: A Dialect-Aware Multimodal Large Language Model for Arabic},
author = {Fakhraddin Alwajih and Gagan Bhatia and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2407.18129},
year = {2024}
}