Lisan：带有形态学标注的也门、伊拉克、利比亚和苏丹阿拉伯方言语料库
计算与语言
2022-12-20 v2 数字图书馆
摘要
本文呈现带有形态学标注的也门、苏丹、伊拉克和利比亚阿拉伯方言Lisan语料库。Lisan包含约120万词符。我们从多个社交媒体平台收集了语料库内容。也门语料库（约105万词符）自动采集自Twitter。其余三种方言的语料库（每种约5万词符）手动取自Facebook和YouTube的帖子与评论。三十五（35）位目标方言母语者完成了标注工作。标注者将四个语料库中的所有词切分为前缀、词干和后缀，并标注不同的形态学特征，如词性、原形词根和英文释义。为标注目的开发了阿拉伯方言标注工具包ADAT。标注者就一套指南以及如何使用ADAT接受了培训。我们开发ADAT以协助标注者并确保与SAMA和Curras标签集兼容。该工具为开源软件，四个语料库亦可在线获取。
引用
@article{arxiv.2212.06468,
title = {Lisan: Yemeni, Iraqi, Libyan, and Sudanese Arabic Dialect Copora with Morphological Annotations},
author = {Mustafa Jarrar and Fadi A Zaraket and Tymaa Hammouda and Daanish Masood Alavi and Martin Waahlisch},
journal= {arXiv preprint arXiv:2212.06468},
year = {2022}
}