低资源语言的文本规整:以利古里亚语为例
计算与语言
2023-12-25 v2
摘要
文本规整对于缺乏严格拼写规范或经历多次拼写改革的低资源语言是一项关键技术。迄今为止,低资源文本规整依赖于手工规则,其被认为比神经方法更具数据效率。本文中我们考察利古里亚语(一种濒危罗曼语)的文本规整案例。我们收集了4,394个利古里亚语句子及其规整版本,以及首个利古里亚语开源单语语料库。我们表明,尽管可用数据量很小,通过使用回译与恰当的分词,仍可训练一个紧凑的基于transformer的模型以达到极低的错误率。
引用
@article{arxiv.2206.07861,
title = {Text normalization for low-resource languages: the case of Ligurian},
author = {Stefano Lusito and Edoardo Ferrante and Jean Maillard},
journal= {arXiv preprint arXiv:2206.07861},
year = {2023}
}