达里亚开放数据集的演变： introducing 版本2
计算与语言
2024-05-24 v1 机器学习
摘要
达里亚开放数据集（DODa）代表着一个开源项目，旨在增强对摩洛哥方言（Darija）的自然语言处理能力。该数据集包含约10万条记录，堪称其类型的最大协作项目。数据集包含语义和句法分类、拼写变体、动词在多个时态下的变位，以及数万条翻译句子。该数据集以拉丁字母和阿拉伯字母两种书写体包含条目，反映了不同来源和应用中所见的语言变体和偏好。此类数据集的可用性对于开发能够准确理解和生成Darija的应用程序至关重要，从而支持摩洛哥社区的语言需求，可能扩展至邻近地区的类似方言。本文探讨了DODa的战略重要性、当前成就以及将继续推动其使用和扩展以促进其在全球NLP领域的应用的未来愿景。
引用
@article{arxiv.2405.13016,
title = {The Evolution of Darija Open Dataset: Introducing Version 2},
author = {Aissam Outchakoucht and Hamza Es-Samaali},
journal= {arXiv preprint arXiv:2405.13016},
year = {2024}
}