基于合成与真实数据交替训练的神经网络机器翻译
计算与语言
2021-06-17 v1
摘要
尽管合成双语语料库已在低资源神经网络机器翻译(NMT)中展现出有效性,但添加更多合成数据往往会降低翻译性能。在本工作中,我们提出用于 NMT 的合成与真实数据交替训练。基本思想是在训练过程中迭代交替使用合成语料库与真实语料库。与先前工作相比,我们引入真实数据作为引导,以防止 NMT 模型训练受到含噪合成数据的干扰。在汉英和德英翻译任务上的实验表明,我们的方法优于多个强基线。我们对 BLEU 地形进行可视化以进一步探究真实与合成数据在交替训练中的作用。从可视化中我们发现,真实数据有助于将 NMT 模型参数导向具有更高 BLEU 分数的点,并带来稳定的翻译性能提升。
引用
@article{arxiv.2106.08582,
title = {Alternated Training with Synthetic and Authentic Data for Neural Machine Translation},
author = {Rui Jiao and Zonghan Yang and Maosong Sun and Yang Liu},
journal= {arXiv preprint arXiv:2106.08582},
year = {2021}
}
备注
ACL 2021, Short Findings