同步双向神经机器翻译
计算与语言
2019-05-14 v1 人工智能
机器学习
摘要
现有的神经机器翻译（NMT）方法从左向右逐词生成目标语言序列。然而，这种单向解码框架无法充分利用可在从右向左解码方向上产生的目标侧未来上下文，因而存在输出不平衡的问题。本文引入一种同步双向神经机器翻译（SB-NMT），其同时使用从左向右和从右向左解码进行交互式预测，以同时利用历史与未来信息。具体而言，我们首先提出一种新算法，可在单一模型中实现同步双向解码。然后，我们提出一种交互式解码模型，其中从左向右（从右向左）生成不仅依赖于其先前生成的输出，还依赖于由从右向左（从左向右）解码预测的未来上下文。我们在大规模NIST汉英、WMT14英德和WMT18俄英翻译任务上广泛评估所提出的SB-NMT模型。实验结果表明，我们的模型相比强大的Transformer模型分别显著提升了3.92、1.49和1.04个BLEU点，并在汉英和英德翻译任务上取得了最先进的性能。
引用
@article{arxiv.1905.04847,
title = {Synchronous Bidirectional Neural Machine Translation},
author = {Long Zhou and Jiajun Zhang and Chengqing Zong},
journal= {arXiv preprint arXiv:1905.04847},
year = {2019}
}
备注
Published by TACL 2019, 15 pages, 9 figures, 9 tabels