用于动作识别的分层多尺度注意力网络
计算机视觉与模式识别
2017-08-29 v2
摘要
循环神经网络（RNN）已广泛应用于自然语言处理与计算机视觉。其中，分层多尺度 RNN（HM-RNN）是近年来提出的一种多尺度分层 RNN，能够自动从数据中学习分层时间结构。本文扩展该工作以解决计算机视觉中的动作识别任务。然而，在 RNN 等序列到序列模型中，给定静态输入时通常很难发现输入与输出之间的关系。作为解决方案，可应用注意力机制从输入中提取相关信息，从而便利输入输出关系的建模。基于这些考虑，我们提出一种新颖的注意力网络，即分层多尺度注意力网络（HM-AN），通过结合 HM-RNN 与注意力机制，并将其应用于动作识别。利用一种新提出的随机神经元梯度估计方法，即 Gumbel-softmax，来实现时间边界检测器和随机硬注意力机制。为缓解 Gumbel-softmax 温度敏感性的负面影响，采用自适应温度训练方法以改善系统性能。实验结果表明，在视觉任务上 HM-AN 优于带注意力的 LSTM。通过可视化网络所学内容，可以观察到 HM-AN 能够捕捉图像注意力区域与分层时间结构。
引用
@article{arxiv.1708.07590,
title = {Hierarchical Multi-scale Attention Networks for Action Recognition},
author = {Shiyang Yan and Jeremy S. Smith and Wenjin Lu and Bailing Zhang},
journal= {arXiv preprint arXiv:1708.07590},
year = {2017}
}