基于解码历史的神经机器翻译注意力自适应控制
计算与语言
2018-02-07 v1 人工智能
机器学习
摘要
基于注意力的序列到序列模型已在神经机器翻译（NMT）中被证明是成功的。然而，未考虑解码历史的注意力（包括解码器中的过去信息与注意力机制）常导致大量重复。为解决此问题，我们提出用于 NMT 模型的基于解码历史的注意力自适应控制（ACA）。ACA 通过学习利用记忆向量追踪解码历史与当前信息来控制注意力，从而使模型能同时考虑已翻译内容与当前信息。在中英翻译与英越翻译上的实验表明，我们的模型显著优于强基线。分析显示，我们的模型能够生成重复更少、准确率更高的翻译。代码将发布于 https://github.com/lancopku
引用
@article{arxiv.1802.01812,
title = {Decoding-History-Based Adaptive Control of Attention for Neural Machine Translation},
author = {Junyang Lin and Shuming Ma and Qi Su and Xu Sun},
journal= {arXiv preprint arXiv:1802.01812},
year = {2018}
}