通过桥接源端与目标端词嵌入聚焦注意力以提升神经机器翻译

在神经机器翻译中，源语言词序列被编码为一个向量，在解码阶段由该向量生成目标语言序列。与统计机器翻译不同，源词与其可能的目标对应词之间的关联并未被显式存储。源词和目标词处于长信息处理过程的两端，该过程由源编码阶段和目标解码阶段的隐藏状态所中介。这使得源词可能被错误地翻译为目标语言中并非其任何合法等价对应词的目标词。在本文中，我们试图通过一种称为桥接源端与目标端词嵌入的方法，在一定程度上缩短该过程中源词与目标词之间的距离，从而加强二者的关联。我们实验了三种策略：（1）源端桥接模型，将源词嵌入向输出目标序列移动一步；（2）目标端桥接模型，为预测目标序列探索更相关的源词嵌入；（3）直接桥接模型，直接连接源词与目标词嵌入，力求最小化彼此翻译中的错误。本文给出的实验与分析表明，所提出的桥接模型能够显著提升整体句子翻译质量，尤其是单个源词与目标词的对齐与翻译质量。