神经机器翻译中的源语句法建模
计算与语言
2017-05-03 v1
摘要
尽管神经机器翻译（NMT）中无语言学的序列到序列模型具有一定隐式学习源句子句法信息的能力，本文表明源语句法可以被有效地显式整合进NMT以提供进一步的改进。具体地，我们将源句子的解析树线性化以获得结构标签序列。在此基础上，我们提出三种不同类型的编码器将源语句法整合进NMT：1）并行RNN编码器，平行地学习词和标签的标注向量；2）层次化RNN编码器，在两层层次结构中学习词和标签的标注向量；3）混合RNN编码器，在词和标签混合的序列上缝合式地学习词和标签的标注向量。在汉英翻译上的实验表明，所有三种提出的句法编码器都能够提高翻译准确率。有趣的是，最简单的RNN编码器即混合RNN编码器以1.4 BLEU点的显著提升取得了最佳性能。此外，从多个角度提供了深入分析以揭示源语句法如何有益于NMT。
引用
@article{arxiv.1705.01020,
title = {Modeling Source Syntax for Neural Machine Translation},
author = {Junhui Li and Deyi Xiong and Zhaopeng Tu and Muhua Zhu and Min Zhang and Guodong Zhou},
journal= {arXiv preprint arXiv:1705.01020},
year = {2017}
}
备注
Accepted by ACL 2017