评估突厥语系中的多向多语言神经机器翻译
计算与语言
2021-09-15 v1
摘要
尽管大型且全面的机器翻译（MT）系统日益增多，但由于缺乏高质量的平行语料库以及与这些语言使用者的参与，对这些方法在各种语言中的评估一直受到限制。在本研究中，我们对来自突厥语系、其中大多数极少被探索的 22 种语言中最先进的 MT 系统训练与评估方法进行了评估。首先，我们采用 TIL 语料库，并对训练集和评估集作了若干关键改进。然后，我们利用该语料库训练了 26 个双语基线以及一个多向神经机器翻译（MNMT）模型，并使用自动指标和人工评估进行了广泛分析。我们发现，MNMT 模型在域外测试集上几乎优于所有双语基线，且在单一语对下游任务上微调该模型也在低资源和高资源场景下带来巨大的性能提升。我们对突厥语 MT 模型评估标准的细致分析也指出了该方向进一步研究的必要性。我们向公众发布了语料库划分、测试集以及模型。
引用
@article{arxiv.2109.06262,
title = {Evaluating Multiway Multilingual NMT in the Turkic Languages},
author = {Jamshidbek Mirzakhalov and Anoop Babu and Aigiz Kunafin and Ahsan Wahab and Behzod Moydinboyev and Sardana Ivanova and Mokhiyakhon Uzokova and Shaxnoza Pulatova and Duygu Ataman and Julia Kreutzer and Francis Tyers and Orhan Firat and John Licato and Sriram Chellappan},
journal= {arXiv preprint arXiv:2109.06262},
year = {2021}
}
备注
9 pages, 3 figures, 7 tables. To be presented at WMT 2021