AraMUS：推进阿拉伯语自然语言处理的数据与模型规模极限
计算与语言
2023-06-13 v1
摘要
开发单语大型预训练语言模型（PLM）已被证明在应对自然语言处理（NLP）中不同任务时非常成功。本工作中，我们提出 AraMUS，最大的阿拉伯语 PLM，具有 11B 参数，训练于 529GB 高质量阿拉伯语文本数据。AraMUS 在一系列多样的阿拉伯语分类与生成任务上取得了最先进的性能。此外，相较于现有最佳阿拉伯语 PLM，AraMUS 展现出令人印象深刻的少样本学习能力。
引用
@article{arxiv.2306.06800,
title = {AraMUS: Pushing the Limits of Data and Model Scale for Arabic Natural Language Processing},
author = {Asaad Alghamdi and Xinyu Duan and Wei Jiang and Zhenhai Wang and Yimeng Wu and Qingrong Xia and Zhefeng Wang and Yi Zheng and Mehdi Rezagholizadeh and Baoxing Huai and Peilun Cheng and Abbas Ghaddar},
journal= {arXiv preprint arXiv:2306.06800},
year = {2023}
}