通过从草稿学习增强神经机器翻译
计算与语言
2017-10-06 v1
摘要
神经机器翻译（NMT）最近取得了令人瞩目的成果。然而，现有NMT算法的一个潜在问题是解码从左向右进行，未考虑右侧上下文。本文提出了一种两阶段方法来解决该问题。在第一阶段，使用传统的基于注意力机制的NMT系统生成草稿翻译；在第二阶段，使用一种新颖的双重注意力NMT系统，通过同时关注原始输入和草稿翻译来优化译文。这种“起草-优化”过程可以从草稿中获取右侧上下文信息，从而产生更连贯的翻译。我们使用两个汉英翻译任务评估了该方法，分别包含4.4万对和100万对句对。实验表明，我们的方法相比传统NMT系统取得了正向提升：在小规模和大规模任务上，BLEU值分别提高了2.4和0.9个点。
引用
@article{arxiv.1710.01789,
title = {Enhanced Neural Machine Translation by Learning from Draft},
author = {Aodong Li and Shiyue Zhang and Dong Wang and Thomas Fang Zheng},
journal= {arXiv preprint arXiv:1710.01789},
year = {2017}
}