WOAD：未裁剪视频中的弱监督在线动作检测
计算机视觉与模式识别
2021-05-20 v2
摘要
未裁剪视频中的在线动作检测旨在动作发生时即对其进行识别，这对实时应用十分重要。以往方法依赖繁琐的时序动作边界标注进行训练，阻碍了在线动作检测系统的可扩展性。我们提出 WOAD，一种仅使用视频类别标签即可训练的弱监督框架。WOAD 包含两个联合训练的模块，即时序提议生成器（TPG）与在线动作识别器（OAR）。在视频类别标签监督下，TPG 离线工作，目标是为 OAR 准确挖掘伪帧级标签。借助来自 TPG 的监督信号，OAR 学习以在线方式进行动作检测。在 THUMOS'14、ActivityNet1.2 和 ActivityNet1.3 上的实验结果表明，我们的弱监督方法大幅优于弱监督基线，并取得了与以往强监督方法相当的性能。此外，WOAD 在强监督可用时也能灵活利用。在强监督下，我们的方法在在线逐帧动作识别与动作起始在线检测两项任务上均取得了最先进（state-of-the-art）结果。
引用
@article{arxiv.2006.03732,
title = {WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos},
author = {Mingfei Gao and Yingbo Zhou and Ran Xu and Richard Socher and Caiming Xiong},
journal= {arXiv preprint arXiv:2006.03732},
year = {2021}
}
备注
CVPR2021