基于视觉注意的动作识别
机器学习
2016-02-16 v3 计算机视觉与模式识别
摘要
我们提出了一种基于软注意(soft attention)的模型，用于视频中的动作识别任务。我们使用了具有长短期记忆(LSTM)单元的多层循环神经网络(RNNs)，其在空间和时间上都是深度的。我们的模型学习选择性地聚焦于视频帧的某些部分，并在少量瞥视后对已类视频进行分类。该模型本质上学习帧中哪些部分与当前任务相关，并赋予它们更高的权重。我们在UCF-11 (YouTube Action)、HMDB-51和Hollywood2数据集上评估了该模型，并分析了模型如何根据场景和所执行动作来聚焦其注意力。
引用
@article{arxiv.1511.04119,
title = {Action Recognition using Visual Attention},
author = {Shikhar Sharma and Ryan Kiros and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:1511.04119},
year = {2016}
}