神经机器翻译中的注意力机制关注什么？
计算与语言
2017-10-11 v1
摘要
神经机器翻译中的注意力机制提供了在每个翻译步骤编码源句子相关部分的可能性。因此，注意力也被认为是一种对齐模型。然而，目前尚无专门研究注意力并对注意力模型所学内容进行分析的工作。因此，注意力与传统对齐有何相似或不同的问题仍然存在。在本文中，我们对注意力进行了详细分析并将其与传统对齐进行了比较。我们回答了注意力是否仅能建模翻译等价物，还是它捕获了更多信息的问题。我们表明，注意力在某些情况下不同于对齐，并且正在捕获除对齐之外的有用信息。
引用
@article{arxiv.1710.03348,
title = {What does Attention in Neural Machine Translation Pay Attention to?},
author = {Hamidreza Ghader and Christof Monz},
journal= {arXiv preprint arXiv:1710.03348},
year = {2017}
}
备注
To appear in IJCNLP 2017