从词语到谚语：使用Absher评估LLM在沙特方言中的语言与文化能力
计算与语言
2025-12-23 v2 人工智能
摘要
随着大语言模型（LLM）日益成为阿拉伯语自然语言处理应用的核心，评估其对区域方言和文化细微差别的理解至关重要，尤其是在沙特阿拉伯这样语言多样化的环境中。本文介绍了Absher，一个专门为评估LLM在主要沙特方言上的表现而设计的综合基准。\texttt{Absher}包含超过18,000道多项选择题，涵盖六个不同类别：词义、正误判断、填空、语境使用、文化解读和地点识别。这些问题源自一个从沙特阿拉伯各地区收集的方言词汇、短语和谚语的精选数据集。我们评估了多个最先进的LLM，包括多语言模型和阿拉伯语专用模型。我们还提供了关于其能力和局限性的详细见解。我们的结果揭示了显著的性能差距，特别是在需要文化推理或语境理解的任务中。我们的发现强调了迫切需要方言感知训练和文化对齐的评估方法，以提升LLM在真实世界阿拉伯语应用中的表现。
引用
@article{arxiv.2507.10216,
title = {From Words to Proverbs: Evaluating LLMs Linguistic and Cultural Competence in Saudi Dialects with Absher},
author = {Renad Al-Monef and Hassan Alhuzali and Nora Alturayeif and Ashwag Alasmari},
journal= {arXiv preprint arXiv:2507.10216},
year = {2025}
}