构建大规模多层表示的语码转换阿拉伯语数据仓储
计算与语言
2019-10-01 v1
摘要
我们呈现了创建大规模多层表示的语码转换阿拉伯语数据仓储的努力。该过程涉及制定清晰的标注标准与指南、精简标注流程并实施质量控制措施。我们采用了两种主要标注协议：实验室内金标准标注与众包标注。我们开发了基于Web的标注工具以促进标注流程管理。当前版本的仓储共包含886,252个词元，被标记为十六种语码转换标签之一。该数据展现了现代标准阿拉伯语与埃及方言阿拉伯语之间的语码转换，代表三种数据体裁：推文、评论与讨论论坛。总体标注者间一致性为93.1%。
引用
@article{arxiv.1909.13009,
title = {Creating a Large Multi-Layered Representational Repository of Linguistic Code Switched Arabic Data},
author = {Mona Diab and Mahmoud Ghoneim and Abdelati Hawwari and Fahad AlGhamdi and Nada AlMarwani and Mohamed Al-Badrashiny},
journal= {arXiv preprint arXiv:1909.13009},
year = {2019}
}