用于神经机器翻译的异步双向解码
计算与语言
2018-02-06 v2
摘要
主流的神经机器翻译（NMT）模型采用统一的注意力编码器-解码器神经网络进行翻译。传统上，NMT解码器采用循环神经网络（RNNs）以从左向右的方式执行翻译，使得在翻译过程中从右向左生成的目标端上下文未被利用。本文中，我们为常规注意力编码器-解码器NMT框架配备一个反向解码器，以探索NMT的双向解码。通过关注编码器产生的隐藏状态序列，我们的反向解码器首先学习从右向左生成目标端隐藏状态序列。然后，前向解码器以向前方向执行翻译，同时在每个翻译预测时间步中，同步应用两个注意力模型分别考虑源端和反向目标端隐藏状态。凭借这一新架构，我们的模型能够充分利用源端和目标端上下文来整体提升翻译质量。在NIST汉英和WMT英德翻译任务上的实验结果表明，我们的模型相比常规NMT分别获得了3.14和1.38个BLEU点的显著提升。本工作的源代码可从 https://github.com/DeepLearnXMU/ABDNMT 获取。
引用
@article{arxiv.1801.05122,
title = {Asynchronous Bidirectional Decoding for Neural Machine Translation},
author = {Xiangwen Zhang and Jinsong Su and Yue Qin and Yang Liu and Rongrong Ji and Hongji Wang},
journal= {arXiv preprint arXiv:1801.05122},
year = {2018}
}
备注
accepted by AAAI 18