循环注意力单元
机器学习
2018-11-01 v1 计算与语言
神经与进化计算
机器学习
摘要
循环神经网络（RNN）已成功应用于许多序列学习问题，例如手写识别、图像描述、自然语言处理和视频运动分析。经过多年发展，研究者改进了 RNN 的内部结构并引入了许多变体。其中，门控循环单元（GRU）是应用最广泛的 RNN 模型之一。然而，GRU 缺乏自适应关注某些区域或位置的能力，可能导致在学习过程中信息冗余或丢失。本文提出一种称为循环注意力单元（RAU）的 RNN 模型，通过添加注意力门将注意力机制无缝集成到 GRU 内部。注意力门能够增强 GRU 的记忆长期记忆能力，并帮助记忆单元快速丢弃不重要内容。RAU 能够通过自适应选择一系列区域或位置并从序列数据中提取信息，在学习过程中对所选区域给予更多关注。在图像分类、情感分类和语言建模上的大量实验表明，RAU 始终优于 GRU 及其他基线方法。
引用
@article{arxiv.1810.12754,
title = {Recurrent Attention Unit},
author = {Guoqiang Zhong and Guohua Yue and Xiao Ling},
journal= {arXiv preprint arXiv:1810.12754},
year = {2018}
}