基于稀疏时间池化网络的弱监督动作定位
计算机视觉与模式识别
2018-04-04 v2
摘要
我们提出一种利用卷积神经网络在未剪辑视频上进行弱监督时间动作定位的算法。我们的算法从视频级类别标签学习，并预测人体动作的时间区间，无需时间定位标注。我们设计网络通过注意力模块识别视频中与目标动作相关的稀疏关键片段子集，并通过自适应时间池化融合关键片段。我们的损失函数由两项组成：最小化视频级动作分类误差，以及强制片段选择的稀疏性。在推断时，我们利用时间类别激活和与类别无关的注意力提取并评分时间提议，以估计对应目标动作的时间区间。所提算法在THUMOS14数据集上取得最先进结果，即使在弱监督下也在ActivityNet1.3上表现卓越。
引用
@article{arxiv.1712.05080,
title = {Weakly Supervised Action Localization by Sparse Temporal Pooling Network},
author = {Phuc Nguyen and Ting Liu and Gautam Prasad and Bohyung Han},
journal= {arXiv preprint arXiv:1712.05080},
year = {2018}
}
备注
Accepted to CVPR 2018