CTAP:互补时序动作提案生成
计算机视觉与模式识别
2018-07-20 v2
摘要
时序动作提案生成是一项重要任务,类似于目标提案,时序动作提案旨在捕获视频中很可能包含动作的“片段”或时间间隔。先前的方法可分为两类:滑窗排序与动作性得分分组。滑窗均匀覆盖视频中所有片段,但时间边界不精确;基于分组的方法可能具有更精确的边界,但当动作性得分质量较低时可能遗漏某些提案。基于这两类方法的互补特性,我们提出一种新颖的互补时序动作提案(CTAP)生成器。具体而言,我们在滑窗提案上应用提案级动作性可信度估计器(PATE)来生成指示动作能否被动作性得分正确检测的概率,并收集高得分的窗口。所收集的滑窗与动作性提案随后由时序卷积神经网络处理,以进行提案排序与边界调整。在 THUMOS-14 和 ActivityNet 1.3 数据集上,CTAP 以较大优势在平均召回率(AR)上超越最先进方法。我们进一步将 CTAP 作为现有动作检测器中的提案生成方法,并展示了一致显著的改进。
引用
@article{arxiv.1807.04821,
title = {CTAP: Complementary Temporal Action Proposal Generation},
author = {Jiyang Gao and Kan Chen and Ram Nevatia},
journal= {arXiv preprint arXiv:1807.04821},
year = {2018}
}
备注
ECCV 2018 main conference paper (camera ready version). Code is available in http://www.github.com/jiyanggao/CTAP