基于词预测的神经机器翻译
计算与语言
2017-08-08 v1
摘要
在神经机器翻译（NMT）的编码器-解码器架构中，编码器和解码器中循环结构的隐藏状态承载着关于句子的关键信息。这些向量由通过时间反向传播翻译误差来更新的参数生成。我们认为，通过端到端的循环结构传播误差并非控制隐藏向量的直接方式。在本文中，我们提出使用词预测作为一种直接监督的机制。更具体地说，我们要求这些向量能够预测目标句子中的词汇。我们的简单机制在不使用任何额外数据或标注的情况下，确保了编码器和解码器中更好的表示。它还有助于减少目标端词汇量并提高解码效率。在中英和德英机器翻译任务上的实验显示，BLEU 值分别提高了 4.53 和 1.3。
引用
@article{arxiv.1708.01771,
title = {Neural Machine Translation with Word Predictions},
author = {Rongxiang Weng and Shujian Huang and Zaixiang Zheng and Xinyu Dai and Jiajun Chen},
journal= {arXiv preprint arXiv:1708.01771},
year = {2017}
}
备注
Accepted at EMNLP2017