基于动作匹配的无监督人体动作检测
计算机视觉与模式识别
2017-05-17 v4
摘要
我们提出了一种通过动作匹配进行无监督动作检测的新任务。给定两个长视频，目标是时间上检测所有匹配的视频片段对。如果一对视频片段包含相同的人体动作，则它们匹配。该任务与类别无关——执行何种动作无关紧要——且不使用监督来发现此类视频片段。通过动作匹配的无监督动作检测使我们能够以有意义的方式对齐视频。因此，它可用于发现新动作类别，或用作例如动作检测流水线中的动作提议技术。此外，它是生成视频精彩片段（例如来自体育视频）的有用预处理步骤。我们提出了一种用于无监督动作检测的有效且高效的方法。我们使用无监督时间编码方法，并利用人体动作中的时间一致性来获得候选动作片段。我们使用三个活动识别基准评估了我们的方法在此具有挑战性的任务上的表现，即 MPII Cooking 活动数据集、THUMOS15 动作检测基准和一个称为 IKEA 数据集的新数据集。在 MPII Cooking 数据集上，我们在 946 对长视频和超过 5000 个真实动作片段上以 21.6% 的精确率和 11.7% 的召回率检测动作片段。类似地，在 THUMOS 数据集上，我们在 5094 个真实动作片段对上获得了 18.4% 的精确率和 25.1% 的召回率。
引用
@article{arxiv.1612.00558,
title = {Unsupervised Human Action Detection by Action Matching},
author = {Basura Fernando and Sareh Shirazi and Stephen Gould},
journal= {arXiv preprint arXiv:1612.00558},
year = {2017}
}
备注
IEEE International Conference on Computer Vision and Pattern Recognition CVPR 2017 Workshops