用于神经机器翻译的自注意力残差解码器
计算与语言
2018-10-02 v5
摘要
带有注意力的神经序列到序列网络在机器翻译中取得了卓越性能。其有效性原因之一在于它们能够通过注意力机制在每个时间步预测时捕获相关的源端上下文信息。然而，目标端上下文仅基于序列模型，这在实际应用中容易产生近因偏差，且缺乏有效捕获词间非序列依赖的能力。为克服这一局限，我们提出了一种用于解码的目标端注意力残差循环网络，其中对先前词的注意力直接贡献于下一个词的预测。残差学习促进了来自久远过去的信息流动，并能够强调任意先前已翻译的词，从而获得了更广阔的上下文。所提模型在三个语言对上优于神经机器翻译（MT）基线以及记忆与自注意力网络。对解码器所学注意力的分析证实，它强调了更宽的上下文，并捕获了类句法结构。
引用
@article{arxiv.1709.04849,
title = {Self-Attentive Residual Decoder for Neural Machine Translation},
author = {Lesly Miculicich Werlen and Nikolaos Pappas and Dhananjay Ram and Andrei Popescu-Belis},
journal= {arXiv preprint arXiv:1709.04849},
year = {2018}
}
备注
Accepted on NAACL-HLT 2018, Volume: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)