用于视频动作识别的分层注意力网络
计算机视觉与模式识别
2016-07-22 v1
摘要
理解自然视频中的人类动作是一项具有广泛应用的重要任务。本文提出一种名为分层注意力网络（Hierarchical Attention Network, HAN）的新方法，其能够融合静态空间信息、短时运动信息和长时视频时间结构以理解复杂人类动作。与近期基于卷积神经网络的方法相比，HAN具有以下优势：（1）HAN能高效捕获更长范围的视频时间结构；（2）HAN能够揭示具有不同时步的帧块之间的时间转移，即它显式建模帧间以及视频段间的时间转移；（3）通过多步时空注意力机制，HAN自动学习视频帧中的重要区域以及视频中的时间片段。所提模型在标准视频动作基准UCF-101和HMDB-51上训练和评估，其性能显著优于当前最优方法。
引用
@article{arxiv.1607.06416,
title = {Hierarchical Attention Network for Action Recognition in Videos},
author = {Yilin Wang and Suhang Wang and Jiliang Tang and Neil O'Hare and Yi Chang and Baoxin Li},
journal= {arXiv preprint arXiv:1607.06416},
year = {2016}
}