Action Search：视频中的动作定位及其在时序动作定位中的应用
计算机视觉与模式识别
2018-07-30 v2
摘要
最先进的时序动作检测器低效地搜索整个视频以寻找特定动作。尽管这些方法取得了令人鼓舞的进展，但设计自动化方法仅探索与所搜索动作最相关的视频部分至关重要。为满足这一需求，我们提出了视频中的动作定位新问题，将其定义为在仅观察视频一小部分的情况下在视频中找到特定动作。受人类在视频中定位和查找动作实例时极其高效且准确的观察启发，我们提出了 Action Search，一种模仿人类定位动作方式的新型循环神经网络方法。此外，为了解决缺乏记录人类标注员行为数据的问题，我们提出了 Human Searches 数据集，该数据集汇编了人类标注员在 AVA 和 THUMOS14 数据集中定位动作所采用的搜索序列。我们将时序动作定位视为动作定位问题的应用。在 THUMOS14 数据集上的实验表明，我们的模型不仅能高效探索视频（平均观察 17.3% 的视频），还能以 30.8% 的 mAP 准确找到人类活动。
引用
@article{arxiv.1706.04269,
title = {Action Search: Spotting Actions in Videos and Its Application to Temporal Action Localization},
author = {Humam Alwassel and Fabian Caba Heilbron and Bernard Ghanem},
journal= {arXiv preprint arXiv:1706.04269},
year = {2018}
}
备注
Accepted to ECCV 2018