重新审视 NLP 中关于阿拉伯语方言的常见假设
计算与语言
2025-05-29 v1
摘要
阿拉伯语具有多样的方言，其中一种方言可能与其他方言存在显著差异。在 NLP 文献中，关于这些方言的一些假设被广泛采用（例如，“阿拉伯语方言可以划分为可区分的区域方言”），并体现在不同的计算任务中，如阿拉伯语方言识别（ADI）。然而，这些假设并未得到定量验证。我们识别了其中四个假设，并通过扩展和分析一个多标签数据集来检验它们，在该数据集中，11 个不同国家级方言中每个句子的有效性均由这些方言的使用者进行人工评估。我们的分析表明，这四个假设过度简化了现实，其中一些并不总是准确的。这反过来可能阻碍了不同阿拉伯语 NLP 任务的进一步进展。
引用
@article{arxiv.2505.21816,
title = {Revisiting Common Assumptions about Arabic Dialects in NLP},
author = {Amr Keleg and Sharon Goldwater and Walid Magdy},
journal= {arXiv preprint arXiv:2505.21816},
year = {2025}
}
备注
Accepted to ACL 2025