基于注意力机制的神经机器翻译中适当视觉跨度的实证研究
计算与语言
2017-06-09 v4 人工智能
摘要
近年来，注意力机制在神经机器翻译模型取得高性能的过程中扮演了关键角色。然而，由于注意力模型在每一个解码步骤都要为所有位置的编码器状态计算评分函数，这极大地增加了计算复杂度。本文通过提出一种能够动态减少冗余评分计算的新型注意力框架，在机器翻译语境下研究注意力模型的适当视觉跨度。术语“视觉跨度”指注意力模型在一步中所考虑的编码器状态窗口。在我们的实验中，发现在英日和德英翻译任务上，视觉跨度的平均窗口大小可以减少超过50%，而精度损失不大。这一结果表明，传统的注意力机制存在大量冗余计算。
引用
@article{arxiv.1612.06043,
title = {An Empirical Study of Adequate Vision Span for Attention-Based Neural Machine Translation},
author = {Raphael Shu and Hideki Nakayama},
journal= {arXiv preprint arXiv:1612.06043},
year = {2017}
}