基于Warp LSTM的时空视频重定位
计算机视觉与模式识别
2019-05-13 v1
摘要
由于网络上用户生成视频的爆发,高效找到用户所需视频内容的需求日益增长。现有的基于关键词或基于内容的视频检索方法通常确定视频中发生了什么,而非何时与何地。在本文中,我们通过构建一项新任务,即时空视频重定位,来回答何时与何地的问题。具体而言,给定查询视频与参考视频,时空视频重定位旨在定位参考视频中的tubelets,使得这些tubelets在语义上对应于查询。为在参考视频中准确本地化所需tubelets,我们提出了一种新颖的warp LSTM网络,其长时间传播时空信息从而捕获对应的长期依赖。时空视频重定位的另一问题是缺乏适当标注的视频数据集。因此,我们重新组织AVA数据集中的视频以形成一个用于时空视频重定位研究的新数据集。大量实验结果表明,所提模型在时空视频重定位任务上优于所设计的基线。
引用
@article{arxiv.1905.03922,
title = {Spatio-temporal Video Re-localization by Warp LSTM},
author = {Yang Feng and Lin Ma and Wei Liu and Jiebo Luo},
journal= {arXiv preprint arXiv:1905.03922},
year = {2019}
}