基于句法感知词表示的句法增强神经机器翻译
计算与语言
2019-05-09 v1
摘要
句法已在神经机器翻译（NMT）中被证明极为有效。以往NMT模型通过表示来自训练良好解析系统的1-best树输出来整合句法，例如具代表性的Tree-RNN与Tree-Linearization方法，其可能受错误传播影响。本工作中，我们提出一种将源端句法隐式整合进NMT的新方法。基本思想是使用训练良好的端到端依存解析器的中间隐藏表示，称为句法感知词表示（SAWRs）。随后我们仅将这些SAWRs与常规词嵌入拼接，以增强基础NMT模型。该方法可直接整合进广泛使用的序列到序列（Seq2Seq）NMT模型。我们从一个具代表性的基于RNN的Seq2Seq基线系统出发，在中英与英越翻译任务的两个基准数据集上分别测试所提方法的有效性。实验结果显示，相较基线，该方法能在两个数据集上带来显著BLEU分数提升，中英翻译提升1.74点，英越翻译提升0.80点。此外，该方法也优于显式的Tree-RNN与Tree-Linearization方法。
引用
@article{arxiv.1905.02878,
title = {Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations},
author = {Meishan Zhang and Zhenghua Li and Guohong Fu and Min Zhang},
journal= {arXiv preprint arXiv:1905.02878},
year = {2019}
}
备注
NAACL 2019