元回译
计算与语言
2021-02-17 v1 机器学习
摘要
回译是一种通过生成伪平行数据来提升神经机器翻译（NMT）性能的有效策略。然而，近期的若干工作发现，伪平行数据更好的翻译质量并不必然带来更好的最终翻译模型，而质量较低但更多样化的数据往往产生更强的效果。本文中，我们提出一种从预训练回译模型生成伪平行数据的新方法。我们的方法是一种元学习算法，其调整预训练回译模型，使得它生成的伪平行数据能够训练一个前向翻译模型在验证集上表现良好。在标准数据集 WMT En-De'14 和 WMT En-Fr'14 以及多语言翻译设置的评估中，我们的方法相比强基线取得了显著提升。我们的代码将公开可用。
引用
@article{arxiv.2102.07847,
title = {Meta Back-translation},
author = {Hieu Pham and Xinyi Wang and Yiming Yang and Graham Neubig},
journal= {arXiv preprint arXiv:2102.07847},
year = {2021}
}
备注
Accepted to ICLR 2021