猜在哪？用于时空动作定位的演员监督方法
计算机视觉与模式识别
2018-04-06 v1
摘要
本文研究视频中动作的时空定位问题。与所有基于训练视频帧上精细标注边界框来学习定位的主流方法相比，我们采用仅需要视频类别标签的弱监督方案。我们提出了一种演员监督架构，利用动作在演员变换方面的固有组合性来定位动作。我们做出了两点贡献。首先，我们提出了由用于图像的人与非人演员检测器导出的演员提议，该检测器通过孪生相似度匹配在时间上关联以应对演员形变。其次，我们提出了一种基于演员的注意力机制，能够从动作类别标签和演员提议中定位动作，并且是端到端可训练的。在三个非人与人的动作数据集上的实验表明，演员监督在弱监督动作定位中达到了最先进水平，甚至与一些全监督替代方法具有竞争力。
引用
@article{arxiv.1804.01824,
title = {Guess Where? Actor-Supervision for Spatiotemporal Action Localization},
author = {Victor Escorcia and Cuong D. Dao and Mihir Jain and Bernard Ghanem and Cees Snoek},
journal= {arXiv preprint arXiv:1804.01824},
year = {2018}
}
备注
cvpr version