改进约鲁巴语变音符号恢复
计算与语言
2020-03-25 v1
摘要
约鲁巴语是一种广泛使用的西非语言，其书写系统富含正字法和声调变音符号。这些符号提供形态信息，对词汇消歧、发音至关重要，并且对任何计算语音或自然语言处理任务都不可或缺。然而，由于设备和应用支持有限以及对正确用法的普遍认知不足，电子文本中通常省略变音符号。我们报告了近期在数据集培育方面的努力。通过聚合并改进来自网络和各类个人文献的零散文本，我们得以将干净的约鲁巴语数据集从以三种来源的圣经文本语料为主，显著扩充至来自十余个来源的数百万词元。我们在一个新的、通用的、公共领域的现代新闻期刊约鲁巴语评估数据集上评估了更新的变音符号恢复模型，该数据集经过筛选以具备多用途并反映当代用法。所有预训练模型、数据集和源代码已作为开源项目发布，以推动约鲁巴语语言技术的发展。
引用
@article{arxiv.2003.10564,
title = {Improving Yor\`ub\'a Diacritic Restoration},
author = {Iroro Orife and David I. Adelani and Timi Fasubaa and Victor Williamson and Wuraola Fisayo Oyewusi and Olamilekan Wahab and Kola Tubosun},
journal= {arXiv preprint arXiv:2003.10564},
year = {2020}
}
备注
Accepted to ICLR 2020 AfricaNLP workshop