学习隐超事件以检测视频中的多种活动
计算机视觉与模式识别
2018-03-30 v2
摘要
本文引入从活动视频中学习隐超事件的概念，并展示其如何有益于连续视频中的活动检测。我们将超事件定义为在视频中以特定时间组织方式共同发生的多个事件的集合；它是子事件的对立概念。真实世界视频包含多种活动且很少被分割（例如监控视频），学习隐超事件使模型能够捕捉事件中在视频中的时间关联。我们设计了时间结构滤波器，使模型能够聚焦于视频的特定子区间，并将其与软注意力机制结合以学习隐超事件的表示。超事件表示与逐帧或逐段的 CNN 结合以提供帧级标注。我们的方法被设计为完全可微分的，从而能够使用这些表示对隐超事件表示与活动检测器进行端到端联合学习。我们在多个公开视频数据集上的实验证实，所提出的隐超事件学习概念显著有益于活动检测，推进了当前最优水平。
引用
@article{arxiv.1712.01938,
title = {Learning Latent Super-Events to Detect Multiple Activities in Videos},
author = {AJ Piergiovanni and Michael S. Ryoo},
journal= {arXiv preprint arXiv:1712.01938},
year = {2018}
}
备注
CVPR 2018