基于联合网络的注意力机制用于动作识别
计算机视觉与模式识别
2016-11-17 v1
摘要
通过在一个网络中提取空间和时间特征，双流卷积网络可以在动作识别中取得最先进的性能。然而，这种框架通常存在两个独立流之间空间和时间信息分别处理的问题，并且难以捕捉动作的长期时间依赖性。更重要的是，它无法找到动作的显著部分，即对识别动作最具判别力的那些帧。为解决这些问题，本研究提出了一种基于联合网络的注意力机制（JNA）。我们发现全连接融合、分支选择和空间注意力机制对于动作识别完全不可行。因此，在我们的联合网络中，空间分支和时间分支在训练阶段共享一些信息。我们还在时间域上引入了一种注意力机制，以捕捉长期依赖性，同时找到显著部分。在两个基准数据集 UCF101 和 HMDB51 上进行了大量实验。实验结果表明，我们的方法可以显著提高动作识别性能，并在两个数据集上都取得了最先进的结果。
引用
@article{arxiv.1611.05215,
title = {Joint Network based Attention for Action Recognition},
author = {Yemin Shi and Yonghong Tian and Yaowei Wang and Tiejun Huang},
journal= {arXiv preprint arXiv:1611.05215},
year = {2016}
}
备注
8 pages, 5 figures, JNA