用于神经机器翻译的记忆增强解码器
计算与语言
2016-06-08 v1
摘要
我们提出通过外部记忆来增强神经机器翻译（NMT）中的RNN解码器，作为对解码RNN中状态的一种自然而强大的扩展。这种记忆增强的RNN解码器被称为\textsc{MemDec}。在解码过程中的每个时刻，\textsc{MemDec}将基于内容寻址从该记忆读取一次并向其写入一次。与之前工作\cite{RNNsearch}中用于存储源句子表示的无界记忆不同，\textsc{MemDec}中的记忆是一个具有预定大小的矩阵，旨在更好地捕获每个时间步对解码过程重要的信息。我们在中英翻译上的实证研究表明，相较于Groundhog可提升 BLEU，相较于Moses可提升 BLEU，在相同训练集上取得了最佳性能。
引用
@article{arxiv.1606.02003,
title = {Memory-enhanced Decoder for Neural Machine Translation},
author = {Mingxuan Wang and Zhengdong Lu and Hang Li and Qun Liu},
journal= {arXiv preprint arXiv:1606.02003},
year = {2016}
}
备注
11 pages