JABER 与 SABER：初级与高级阿拉伯语 BERT
计算与语言
2022-01-11 v3
摘要
语言特定的预训练模型在单语评估环境中已被证明比多语言模型更准确，阿拉伯语也不例外。然而，我们发现先前发布的阿拉伯语 BERT 模型明显训练不足。在本技术报告中，我们介绍了 JABER 和 SABER（分别为 Junior 和 Senior Arabic BERt），这是我们专为阿拉伯语设计的预训练语言模型原型。我们进行了一项实证研究，系统地评估了模型在一系列现有阿拉伯语 NLU 任务上的性能。实验结果表明，JABER 和 SABER 在 ALUE（一个新的阿拉伯语语言理解评估基准）以及一个成熟的 NER 基准上均达到了最先进的性能。
引用
@article{arxiv.2112.04329,
title = {JABER and SABER: Junior and Senior Arabic BERt},
author = {Abbas Ghaddar and Yimeng Wu and Ahmad Rashid and Khalil Bibi and Mehdi Rezagholizadeh and Chao Xing and Yasheng Wang and Duan Xinyu and Zhefeng Wang and Baoxing Huai and Xin Jiang and Qun Liu and Philippe Langlais},
journal= {arXiv preprint arXiv:2112.04329},
year = {2022}
}
备注
Technical Report; v2: add SABER and CAMeLBERT evaluation; v3: fix minor typos and grammatical errors