EleAtt-RNN：为循环神经网络中的神经元增添注意力机制
计算机视觉与模式识别
2020-01-08 v1
摘要
循环神经网络（RNNs）能够对复杂序列数据的时序依赖关系进行建模。一般而言，现有 RNN 结构往往侧重于控制当前与前序信息的贡献，却总是忽略了对输入向量中不同元素不同重要性程度的探索。我们提出了一种简单而有效的逐元素注意力门（EleAttG），它可轻松添加至一个 RNN 块（例如 RNN 层中的所有 RNN 神经元），赋予 RNN 神经元注意力能力。对于一个 RNN 块，EleAttG 用于通过为输入的每个元素/维度分配不同级别的重要性（即注意力）来自适应地调制输入。我们将配备了 EleAttG 的 RNN 块称为 EleAtt-RNN 块。EleAttG 并非将输入作为整体进行调制，而是在细粒度（即逐元素）上对输入进行调制，且该调制是内容自适应的。所提出的 EleAttG 作为一个额外的基本单元，具有通用性，可应用于任何 RNN 结构，例如标准 RNN、长短期记忆（LSTM）或门控循环单元（GRU）。我们通过将 EleAtt-RNN 应用于不同任务来证明其有效性，包括基于骨架数据与 RGB 视频的动作识别、手势识别以及序列 MNIST 分类。实验表明，通过 EleAttG 为 RNN 块增添注意力显著提升了 RNN 的能力。
引用
@article{arxiv.1909.01939,
title = {EleAtt-RNN: Adding Attentiveness to Neurons in Recurrent Neural Networks},
author = {Pengfei Zhang and Jianru Xue and Cuiling Lan and Wenjun Zeng and Zhanning Gao and Nanning Zheng},
journal= {arXiv preprint arXiv:1909.01939},
year = {2020}
}
备注
IEEE Transactions on Image Processing (Accept). arXiv admin note: substantial text overlap with arXiv:1807.04445