ORCA：一个具有挑战性的阿拉伯语语言理解基准
计算与语言
2023-05-31 v2 人工智能
摘要
由于预训练语言模型在所有自然语言处理（NLP）中都起着关键作用，已有若干基准被提出用于评估此类模型。尽管有这些努力，目前仍不存在用于评估阿拉伯语的多样化公开基准。这使得衡量阿拉伯语及多语言语言模型的进展颇具挑战。这一挑战因以下事实而加剧：任何面向阿拉伯语的基准都需考虑到阿拉伯语并非单一语言，而是一系列语言与变体的集合。在本工作中，我们提出 ORCA，一个公开可用的阿拉伯语语言理解评估基准。ORCA 经过精心构建，涵盖多样的阿拉伯语变体，并利用七个 NLU 任务簇下的 60 个不同数据集，覆盖广泛的具有挑战性的阿拉伯语理解任务。为衡量阿拉伯语 NLU 的当前进展，我们使用 ORCA 对 18 个多语言与阿拉伯语语言模型进行了全面比较。我们还提供了一个公开排行榜，采用统一的单值评估指标（ORCA 分数）以促进未来研究。
引用
@article{arxiv.2212.10758,
title = {ORCA: A Challenging Benchmark for Arabic Language Understanding},
author = {AbdelRahim Elmadany and El Moatez Billah Nagoudi and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2212.10758},
year = {2023}
}
备注
All authors contributed equally. Accepted at ACL 2023, Toronto, Canada