论预训练阿拉伯语语言模型中数据规模的重要性
计算与语言
2024-01-17 v1
摘要
预训练单语语言模型已被证明对阿拉伯语自然语言处理（NLP）任务的性能至关重要。本文对数据在阿拉伯语预训练语言模型（PLMs）中的作用进行了全面研究。更确切地说，我们通过在超大规模、高质量的阿拉伯语语料库上重新训练一系列最先进的阿拉伯语PLMs，重新评估了它们的性能。我们在ALUE和ORCA排行榜上显著提升了领先的阿拉伯语仅编码器BERT-base和编码器-解码器T5-base模型的性能，从而在各自模型类别中报告了最先进的结果。此外，我们的分析有力地表明，预训练数据是迄今为止性能的主要贡献因素，超越了其他因素。我们的模型和源代码已在https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/JABER-PyTorch上公开。
引用
@article{arxiv.2401.07760,
title = {On the importance of Data Scale in Pretraining Arabic Language Models},
author = {Abbas Ghaddar and Philippe Langlais and Mehdi Rezagholizadeh and Boxing Chen},
journal= {arXiv preprint arXiv:2401.07760},
year = {2024}
}