Beqi:以鲁棒拼写纠正器振兴塞内加尔沃洛夫语
计算与语言
2023-05-16 v1 人工智能
摘要
自然语言处理(NLP)虽近年进展迅速,但各语言步伐并不一致。非洲语言尤其落后,缺乏自动处理工具。其中部分工具对这些语言的发展至关重要,也在诸多 NLP 应用中扮演重要角色。自动拼写检查器便是典型一例。已有多种方法研究以应对该任务,其中将拼写纠正建模为从错拼(含噪)文本到正拼(正确)文本的翻译任务展现出前景。然而,该方法一方面需要噪声数据与另一方面正确数据的平行语料,而沃洛夫语为低资源语言,并无此类语料。本文提出一种通过生成合成数据来解决数据缺乏约束的方法,并给出基于深度学习的序列到序列模型用于沃洛夫语拼写纠正。我们根据应用于数据的子词方法在不同场景下评估这些模型,表明子词方法对模型性能有显著影响,这为沃洛夫语拼写纠正的未来研究开辟了道路。
引用
@article{arxiv.2305.08518,
title = {Beqi: Revitalize the Senegalese Wolof Language with a Robust Spelling Corrector},
author = {Derguene Mbaye and Moussa Diallo},
journal= {arXiv preprint arXiv:2305.08518},
year = {2023}
}
备注
17 pages, 7 figures, 5 tables