利用网络爬取数据微调卡拉allisut-英语机器翻译系统
计算与语言
2022-06-07 v1 人工智能
摘要
西格陵兰语，被母语者称为Kalaallisut，是一种极度低资源的多式综合语言，由格陵兰约56,000人使用。在此，我们尝试使用来自约30个多语言网站的网络爬取伪平行句来微调一个预训练的Kalaallisut到英语神经机器翻译(NMT)系统。我们编译了超过93,000条Kalaallisut句子和超过140,000条丹麦语句子的语料库，然后利用跨语言句子嵌入和近似最近邻搜索，试图从这些语料库中挖掘近似译文。最后，我们将丹麦语句子翻译为英语，以获得合成的Kalaallisut-英语对齐语料库。尽管所得数据集太小且含噪，不足以改进预训练MT模型，但我们相信借助额外资源，可以构建更好的伪平行语料库并在机器翻译上取得更有前景的结果。我们也注意到单语Kalaallisut数据的其他可能用途，并讨论未来工作方向。我们将实验的代码和数据公开可用。
引用
@article{arxiv.2206.02230,
title = {Finetuning a Kalaallisut-English machine translation system using web-crawled data},
author = {Alex Jones},
journal= {arXiv preprint arXiv:2206.02230},
year = {2022}
}