Tubelets：基于时空超体素的无监督动作提议
计算机视觉与模式识别
2016-07-08 v1
摘要
本文考虑将视频中的动作定位为边界框序列的问题。目标是生成可能包含感兴趣动作的动作提议，理想情况下以少量提议实现高召回率。我们的贡献有三方面。首先，受用于目标提议的选择性搜索启发，我们引入了一种以无监督方式从时空超体素生成动作提议的方法，我们称之为 Tubelets。其次，除了来自单帧的静态特征外，我们的方法有利地利用了运动信息。我们引入独立运动证据作为一个特征，用以刻画动作如何偏离背景，并将此类运动信息显式地融入提议生成的各个阶段。最后，我们引入了 Tubelets 的时空细化，以实现更精确的动作定位，并进行剪枝以保持 Tubelets 数量有限。我们通过在三个公共数据集（UCF Sports、MSR-II 和 UCF101）上进行关于动作提议质量和动作定位的广泛实验，证明了我们方法的适用性。在动作提议质量方面，我们的无监督提议在这三个数据集上均优于所有其他现有方法。在动作定位方面，我们在 UCF Sports 和 UCF101 的修剪视频以及 MSR-II 的未修剪视频上均展示了顶级性能。
引用
@article{arxiv.1607.02003,
title = {Tubelets: Unsupervised action proposals from spatiotemporal super-voxels},
author = {Mihir Jain and Jan van Gemert and Hervé Jégou and Patrick Bouthemy and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:1607.02003},
year = {2016}
}
备注
submitted to International Journal of Computer Vision