Dolphin：一个具有挑战性且多样化的阿拉伯语自然语言生成基准
计算与语言
2023-10-25 v2
摘要
我们提出 Dolphin，这是一个新颖的基准，旨在满足针对广泛的阿拉伯语及其变体语言的自然语言生成（NLG）评估框架的需求。所提出的基准涵盖了 13 种不同的 NLG 任务，包括对话生成、问答、机器翻译、摘要等。Dolphin 包含跨越 50 个测试划分的 40 个多样且具有代表性的公共数据集的庞大语料库，经过精心筛选以反映真实场景及阿拉伯语的语言丰富性。它为评估阿拉伯语和多语言模型的性能与泛化能力设立了新标准，有望使研究者推动当前方法的边界。我们对 Dolphin 进行了深入分析，突出其多样性并指出了当前阿拉伯语 NLG 研究中的空白。我们还提供了一个兼具交互性与模块化的公开排行榜，并在我们的基准上评估了若干模型，从而确立了可供研究者比较的强基线。
引用
@article{arxiv.2305.14989,
title = {Dolphin: A Challenging and Diverse Benchmark for Arabic NLG},
author = {El Moatez Billah Nagoudi and AbdelRahim Elmadany and Ahmed El-Shangiti and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2305.14989},
year = {2023}
}