中文

面向低资源口语的自动拼写检查与纠错:以沃洛夫语为例

计算与语言 2023-05-23 v1 人工智能

摘要

本文提出一种专为沃洛夫语(非洲一种低资源口语)设计的拼写检查与纠错工具。所提出的拼写检查器结合字典树(trie)数据结构、动态规划与加权 Levenshtein 距离来为拼写错误词生成建议。我们使用结合人工与自动标注方法的半自动途径为沃洛夫语创建了如词典与错词语料库等新语言资源。尽管沃洛夫语可用数据有限,该拼写检查器表现出 98.31% 的预测准确率与 93.33% 的建议准确率。我们的主要焦点仍是作为非洲原住民口语的沃洛夫语的复兴与保护,为之开发新语言资源而努力。本工作对沃洛夫语计算工具与资源的增长是有价值的贡献,并为自动拼写检查与纠错领域的未来研究提供坚实基础。

关键词

引用

@article{arxiv.2305.12694,
  title  = {Automatic Spell Checker and Correction for Under-represented Spoken Languages: Case Study on Wolof},
  author = {Thierno Ibrahima Cissé and Fatiha Sadat},
  journal= {arXiv preprint arXiv:2305.12694},
  year   = {2023}
}

备注

10 pages, 1 figure, 7 tables