抽取与编辑:无监督神经机器翻译中回译的一种替代方法
计算与语言
2019-04-05 v1
摘要
对大型平行语料的过度依赖严重限制了机器翻译系统对大多数语言对的适用性。回译此前在无监督神经机器翻译方法中占主导地位,其通过生成伪句对并以重构损失训练模型。然而,伪句子通常质量较低,因为翻译错误在训练中累积。为避免这一根本问题,我们提出一种替代且更有效的方法——抽取-编辑(extract-edit),从目标单语语料中抽取并随后编辑真实句子。此外,我们引入比较翻译损失以评估翻译出的目标句子,从而训练无监督翻译系统。实验表明,所提方法在两个基准(英-法、英-德)与两个低资源语言对(英-罗、英-俄)上,以超过2(最高3.63)个BLEU点的优势持续优于先前最先进的无监督机器翻译系统。
引用
@article{arxiv.1904.02331,
title = {Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation},
author = {Jiawei Wu and Xin Wang and William Yang Wang},
journal= {arXiv preprint arXiv:1904.02331},
year = {2019}
}
备注
11 pages, 3 figures. Accepted to NAACL 2019