面向神经机器翻译的过去与未来建模
计算与语言
2017-12-27 v2
摘要
现有的神经机器翻译系统在解码阶段并未显式建模已翻译和未翻译的内容。为解决该问题,我们提出一种新颖机制,将源端信息分为两部分:已翻译的过去内容与未翻译的未来内容,并由两个额外的循环层建模。过去与未来内容被输入注意力模型和解码器状态,从而为神经机器翻译系统提供已翻译与未翻译内容的知识。实验结果表明,所提方法在汉英、德英和英德翻译任务上显著提升了翻译性能。具体而言,该模型在翻译质量与对齐错误率两方面均优于传统的覆盖模型。
引用
@article{arxiv.1711.09502,
title = {Modeling Past and Future for Neural Machine Translation},
author = {Zaixiang Zheng and Hao Zhou and Shujian Huang and Lili Mou and Xinyu Dai and Jiajun Chen and Zhaopeng Tu},
journal= {arXiv preprint arXiv:1711.09502},
year = {2017}
}
备注
Accepted by Transaction of ACL