你可能不需要注意力机制
计算与语言
2018-11-01 v1
摘要
在神经机器翻译（NMT）中，没有注意力且不分立编码和解码，我们最多能走多远？为回答该问题，我们引入一种不使用注意力且不具有分立编码器和解码器的循环神经翻译模型。我们的急切翻译模型具有低延迟，在读取第一个源语言词元后即开始写目标词元，并在解码时使用恒定内存。其性能与Bahdanau等人（2014）的标准基于注意力的模型相当，且在长句上更优。
引用
@article{arxiv.1810.13409,
title = {You May Not Need Attention},
author = {Ofir Press and Noah A. Smith},
journal= {arXiv preprint arXiv:1810.13409},
year = {2018}
}