RRA：用于序列学习的循环残差注意力
机器学习
2017-09-19 v1 人工智能
摘要
本文中，我们提出一种带有残差注意力（RRA）的循环神经网络（RNN），以从序列数据中学习长程依赖。我们提议在 RNN 的多个时间步之间添加残差连接，这显式地增强了当前状态与相隔若干时间步的隐藏状态之间的交互。这也使得训练误差可通过残差连接直接反向传播，并有效缓解梯度消失问题。我们进一步重构了残差连接上的注意力机制。定义了一个注意力门，用于汇总计算当前状态时多个先前隐藏状态的个体贡献。我们在三个任务上评估 RRA：加法问题、逐像素 MNIST 分类以及 IMDB 数据集上的情感分析。我们的实验表明，与标准 LSTM 网络相比，RRA 产生了更好的性能、更快的收敛和更稳定的训练。此外，RRA 展现出与最先进方法极具竞争力的性能。
引用
@article{arxiv.1709.03714,
title = {RRA: Recurrent Residual Attention for Sequence Learning},
author = {Cheng Wang},
journal= {arXiv preprint arXiv:1709.03714},
year = {2017}
}
备注
9 pages, 7 figures