多人视频中的事件与关键参与者检测
计算机视觉与模式识别
2016-03-18 v2 人工智能
摘要
多人事件识别是一项具有挑战性的任务，通常场景中有许多人在活动，但只有一小部分人促成了实际事件。本文提出一种模型，该模型学习在此类视频中检测事件，同时自动“关注”对事件负责的人。我们的模型在训练和测试期间不使用关于这些人是谁或在哪里的显式标注。具体而言，我们跟踪视频中的人，并使用循环神经网络（RNN）来表示轨迹特征。我们学习时变注意力权重，以在每个时间瞬间组合这些特征。然后，使用另一个RNN处理被关注的特征以进行事件检测/分类。由于大多数包含多人的视频数据集仅限于少量视频，我们还收集了一个新的篮球数据集，包含257场篮球比赛，带有对应于11个事件类的14K事件标注。我们的模型在该新数据集上的事件分类和检测均优于最先进的方法。此外，我们表明注意力机制能够一致地定位相关球员。
引用
@article{arxiv.1511.02917,
title = {Detecting events and key actors in multi-person videos},
author = {Vignesh Ramanathan and Jonathan Huang and Sami Abu-El-Haija and Alexander Gorban and Kevin Murphy and Li Fei-Fei},
journal= {arXiv preprint arXiv:1511.02917},
year = {2016}
}
备注
Accepted for publication in CVPR'16