中文

CTAP:互补时序动作提案生成

计算机视觉与模式识别 2018-07-20 v2

摘要

时序动作提案生成是一项重要任务,类似于目标提案,时序动作提案旨在捕获视频中很可能包含动作的“片段”或时间间隔。先前的方法可分为两类:滑窗排序与动作性得分分组。滑窗均匀覆盖视频中所有片段,但时间边界不精确;基于分组的方法可能具有更精确的边界,但当动作性得分质量较低时可能遗漏某些提案。基于这两类方法的互补特性,我们提出一种新颖的互补时序动作提案(CTAP)生成器。具体而言,我们在滑窗提案上应用提案级动作性可信度估计器(PATE)来生成指示动作能否被动作性得分正确检测的概率,并收集高得分的窗口。所收集的滑窗与动作性提案随后由时序卷积神经网络处理,以进行提案排序与边界调整。在 THUMOS-14 和 ActivityNet 1.3 数据集上,CTAP 以较大优势在平均召回率(AR)上超越最先进方法。我们进一步将 CTAP 作为现有动作检测器中的提案生成方法,并展示了一致显著的改进。

关键词

引用

@article{arxiv.1807.04821,
  title  = {CTAP: Complementary Temporal Action Proposal Generation},
  author = {Jiyang Gao and Kan Chen and Ram Nevatia},
  journal= {arXiv preprint arXiv:1807.04821},
  year   = {2018}
}

备注

ECCV 2018 main conference paper (camera ready version). Code is available in http://www.github.com/jiyanggao/CTAP