用于神经机器翻译的重写器-评估器架构

编码器-解码器已广泛应用于神经机器翻译(NMT)。已有少数方法通过多次解码过程来改进它。然而,其全部潜力受限于缺乏适当的终止策略。为解决此问题,我们提出一种新颖架构:重写器-评估器(Rewriter-Evaluator)。它由重写器和评估器组成。翻译源句涉及多次过程。在每一遍中,重写器生成新译文以改进先前译文,评估器估计译文质量以决定是否终止重写过程。我们还提出优先梯度下降(PGD),便于联合训练重写器和评估器。尽管引发多次解码,采用所提PGD方法的重写器-评估器可与训练编码器-解码器模型耗时相近地完成训练。我们将该架构应用于改进通用NMT模型(如Transformer)。我们在中英和英德两个翻译任务上进行了广泛实验,表明该架构显著提升了NMT模型性能,并大幅优于先前基线。