基于稀疏空间监督的人体动作定位
计算机视觉与模式识别
2017-05-25 v2
摘要
我们提出了一种利用稀疏空间监督进行时空人体动作定位的方法。我们的方法借助当今大量可用的人体标注，通过结合最先进的人体检测器与检测跟踪（tracking-by-detection）方法提取人体管（human tubes）。给定这些高质量人体管与时间监督，我们以非常稀疏的空间监督（即每实例仅一帧空间标注）筛选正负人体管。所选人体管使我们能够基于稠密轨迹或 CNN 有效学习时空动作检测器。我们在现有动作定位基准上实验：UCF-Sports、J-HMDB 和 UCF-101。结果表明，尽管使用稀疏空间监督，我们的方法与使用全监督（即每帧一个边界框标注）的方法性能相当。为进一步验证方法，我们引入 DALY（YouTube 日常动作定位），一个用于真实时空动作定位的数据集。它包含 31 小时视频（3.3M 帧）中 10 类动作共 3.6k 实例的高质量时间与空间标注。其规模比现有数据集大一个数量级，且具有更大的外观多样性和长未修剪视频。
引用
@article{arxiv.1605.05197,
title = {Human Action Localization with Sparse Spatial Supervision},
author = {Philippe Weinzaepfel and Xavier Martin and Cordelia Schmid},
journal= {arXiv preprint arXiv:1605.05197},
year = {2017}
}