ALLaM：阿拉伯语大型语言模型
计算与语言
2024-07-23 v1 人工智能
摘要
我们提出 ALLaM：阿拉伯语大型语言模型，一系列为支持阿拉伯语技术生态系统（ALT）而设计的大型语言模型。ALLaM 在语言对齐与大规模知识迁移方面经过严格考量。我们的自回归解码器架构展示了如何通过词汇扩展和对阿拉伯语和英文文本混合进行预训练，以将模型引导至新语言（阿拉伯语），而无需对原始语言（英文）进行灾难性遗忘。此外，我们强调使用平行/翻译数据辅助语言之间知识对齐的有效性。最后，我们表明与人类偏好进行大规模对齐可显著提升语言模型性能，优于规模更大的模型且对齐质量较低。ALLaM 在various阿拉伯语基准测试中实现最先进性能，包括 MMLU Arabic、ACVA 和阿拉伯语考试。我们的对齐模型在阿拉伯语和英文方面均优于其基础对齐模型。
引用
@article{arxiv.2407.15390,
title = {ALLaM: Large Language Models for Arabic and English},
author = {M Saiful Bari and Yazeed Alnumay and Norah A. Alzahrani and Nouf M. Alotaibi and Hisham A. Alyahya and Sultan AlRashed and Faisal A. Mirza and Shaykhah Z. Alsubaie and Hassan A. Alahmed and Ghadah Alabduljabbar and Raghad Alkhathran and Yousef Almushayqih and Raneem Alnajim and Salman Alsubaihi and Maryam Al Mansour and Majed Alrubaian and Ali Alammari and Zaki Alawami and Abdulmohsen Al-Thubaity and Ahmed Abdelali and Jeril Kuriakose and Abdalghani Abujabal and Nora Al-Twairesh and Areeb Alowisheq and Haidar Khan},
journal= {arXiv preprint arXiv:2407.15390},
year = {2024}
}