StartNet：未剪辑视频中动作起始的在线检测
计算机视觉与模式识别
2019-03-26 v1
摘要
我们提出 StartNet 以解决在线动作起始检测（ODAS）问题，即在未剪辑的流媒体视频中检测动作起点及其关联类别。以往方法旨在通过学习能够直接将起始点与其前导背景分离的特征表示来定位动作起点。由于动作起点附近细微的外观差异以及训练数据的缺乏，这极具挑战性。相反，StartNet 将 ODAS 分解为两个阶段：动作分类（使用 ClsNet）和起始点定位（使用 LocNet）。ClsNet 侧重于逐帧标注并在线预测动作得分分布。基于过去和当前帧的预测动作得分，LocNet 利用策略梯度方法优化长期定位奖励，从而进行类别无关的起始检测。所提框架在两个大规模数据集 THUMOS'14 和 ActivityNet 上得到了验证。实验结果表明，在 THUMOS'14 上 1 至 10 秒的偏移容差下，StartNet 的 p-mAP 显著优于 state-of-the-art 15%-30%，并在 ActivityNet 上以小 10 倍的时间偏移取得了相当的性能。
引用
@article{arxiv.1903.09868,
title = {StartNet: Online Detection of Action Start in Untrimmed Videos},
author = {Mingfei Gao and Mingze Xu and Larry S. Davis and Richard Socher and Caiming Xiong},
journal= {arXiv preprint arXiv:1903.09868},
year = {2019}
}