时空人体动作定位与实例分割在时间未修剪视频中的应用
计算机视觉与模式识别
2017-08-08 v2
摘要
当前最先进的人体动作识别主要集中于对时间上已修剪的视频进行分类，其中每帧仅发生一个动作。在本工作中，我们解决的是动作定位与实例分割问题，即从图像序列中分割出同一类别的多个并发动作。我们将动作管（action tube）提取建模为一个能量最大化问题，其中每一帧中区域提议的配置被赋予一个代价，并通过两轮动态规划选择最佳动作管。一轮动态规划为每个动作类别在空间和时间上关联区域提议，另一轮用于求解动作管的时间范围并在整个视频中强制实施平滑的标签序列。此外，通过利用近期在动作前景-背景分割方面的工作，我们能够将每个动作管与特定类别的分割关联起来。我们在具有挑战性的LIRIS-HARL数据集上展示了算法的性能，并取得了新的最先进结果，比先前方法提升了14.3倍。
引用
@article{arxiv.1707.07213,
title = {Spatio-temporal Human Action Localisation and Instance Segmentation in Temporally Untrimmed Videos},
author = {Suman Saha and Gurkirt Singh and Michael Sapienza and Philip H. S. Torr and Fabio Cuzzolin},
journal= {arXiv preprint arXiv:1707.07213},
year = {2017}
}
备注
Typos corrected