MANorm：面向拉丁字母书写的摩洛哥阿拉伯语方言的规范化词典
计算与语言
2022-06-22 v1
摘要
社交媒体用户生成的文本实际上是许多自然语言处理（NLP）任务的主要资源。然而，这些文本并不遵循标准的书写规则。此外，在书面交流中使用摩洛哥阿拉伯语等方言进一步增加了NLP任务的复杂性。方言是一种没有标准正字法的口头语言，这导致用户在书写时即兴拼写。因此，对于同一个词，我们可能找到多种音译形式。随后，必须将这些不同的音译形式规范化为一个规范的词形。为达到这一目标，我们利用由YouTube评论语料库生成的词嵌入模型的强大能力。此外，借助提供规范形式的摩洛哥阿拉伯语方言词典，我们构建了一个规范化词典，并将其称为MANorm。我们进行了多项实验来证明MANorm的有效性，实验结果显示了其在方言规范化中的实用性。
引用
@article{arxiv.2206.09167,
title = {MANorm: A Normalization Dictionary for Moroccan Arabic Dialect Written in Latin Script},
author = {Randa Zarnoufi and Walid Bachri and Hamid Jaafar and Mounia Abik},
journal= {arXiv preprint arXiv:2206.09167},
year = {2022}
}
备注
The Fifth Arabic Natural Language Processing Workshop/COLING 2020