ALDi：量化文本阿拉伯语方言程度
计算与语言
2023-10-24 v1
摘要
阿拉伯语中的转写语音与用户生成文本通常包含现代标准阿拉伯语（MSA，学校讲授的标准化语言）与方言阿拉伯语（DA，日常交流中使用）的混合。为处理这种变异，阿拉伯语 NLP 的既往工作聚焦于句子或词元层面的方言识别（DI）。然而，DI 将任务视为二元的，而我们主张阿拉伯语使用者感知到一个方言程度谱，我们在句子层面将其操作化为阿拉伯语方言程度（ALDi），一个连续语言变量。我们引入 AOC-ALDi 数据集（源自 AOC 数据集），包含 127,835 个句子（17% 来自新闻文章，83% 来自这些文章下的用户评论），其手动标注了方言程度。我们对 AOC-ALDi 提供详细分析，并表明在其上训练的模型能有效识别一系列其他语料（包括未包含在 AOC-ALDi 中的方言与体裁）的方言程度，提供比传统 DI 系统更精细的图景。通过案例研究，我们阐明 ALDi 如何揭示阿拉伯语使用者在不同的情境中的文体选择，这一对社会语言学分析有用的性质。
引用
@article{arxiv.2310.13747,
title = {ALDi: Quantifying the Arabic Level of Dialectness of Text},
author = {Amr Keleg and Sharon Goldwater and Walid Magdy},
journal= {arXiv preprint arXiv:2310.13747},
year = {2023}
}
备注
Accepted to EMNLP 2023