尼罗聊天:阿拉伯语和拉丁字母脚本的埃及语言模型
计算与语言
2025-07-08 v1 人工智能
机器学习
摘要
我们介绍 Nile-Chat-4B, 3x4B-A6B 和 12B,一套针对埃及方言的 LLM,专为理解和生成以阿拉伯字母和拉丁字母两种脚本书写的文本而设计.具体而言,通过利用 Branch-Train-MiX 策略将脚本专家整合到单个 MoE 模型中,我们为 Nile-Chat-3x4B-A6B 引入一种新颖的语言适应方法.我们的 Nile-Chat 模型在我们全新引入的埃及评估基准测试中显著优于 LLaMa、Jais 和 ALLaM 等领先的多语言和阿拉伯 LLM,该测试套件涵盖理解和生成任务.值得注意的是,我们的 12B 模型在拉丁字母基准测试中比 Qwen2.5-14B-Instruct 高出 14.4%.我们的所有资源均公开可用.我们认为本工作为适应双脚本语言的 LLM 提供了完整的方法论,解决了现代 LLM 开发中常被忽视的方面.
引用
@article{arxiv.2507.04569,
title = {Nile-Chat: Egyptian Language Models for Arabic and Latin Scripts},
author = {Guokan Shang and Hadi Abdine and Ahmad Chamma and Amr Mohamed and Mohamed Anwar and Abdelaziz Bounhar and Omar El Herraoui and Preslav Nakov and Michalis Vazirgiannis and Eric Xing},
journal= {arXiv preprint arXiv:2507.04569},
year = {2025}
}