在线动作检测
计算机视觉与模式识别
2016-08-31 v2
摘要
在在线动作检测中，目标是在视频流中动作一发生就检测到其起始。例如，如果一个孩子正在追球，自动驾驶汽车应识别发生了什么并立即响应。这是一个极具挑战性的问题，原因有四。首先，仅观察到部分动作。其次，负样本数据存在很大差异性。第三，动作的起始未知，因此不清楚应在何种时间窗口上整合信息。最后，真实世界数据中存在较大的类内差异性。该问题此前已被研究，但仅在一定程度上。我们对在线动作检测的贡献有三方面。首先，我们引入了一个真实数据集，由 6 部热门电视剧的 27 集组成。该数据集涵盖超过 16 小时的视频片段，标注了 30 个动作类别，共计 6,231 个动作实例。其次，我们分析并比较了多种基线方法，表明这是一个极具挑战性的问题，现有方法均不能提供良好解决方案。第三，我们分析了在视角、遮挡、截断等发生变化时性能的变化。我们引入了用于公平比较的评估协议。该数据集、基线及模型将全部公开，以鼓励（亟需的）基于真实数据的在线动作检测的进一步研究。
引用
@article{arxiv.1604.06506,
title = {Online Action Detection},
author = {Roeland De Geest and Efstratios Gavves and Amir Ghodrati and Zhenyang Li and Cees Snoek and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:1604.06506},
year = {2016}
}
备注
Project page: http://homes.esat.kuleuven.be/~rdegeest/OnlineActionDetection.html