用于 360 度视频时空高光检测的深度学习排序模型
计算机视觉与模式识别
2018-02-01 v1
摘要
我们通过从空间和时间两个维度对 360 度视频进行摘要，来解决从其检测高光的问题。给定一个长 360 度视频，我们从 360 度视频的无限制视场（FOV）中空间选取观感良好的正常视场（NFOV）片段，并从时间上将其摘要为简洁且信息丰富的高光，作为子镜头的一个选定子集。我们提出了一种名为构图视角分数（CVS）模型的新型深度排序模型，该模型为每个视频片段生成球面构图分数图，并在推理时通过滑动窗口核决定哪个视角适合作为高光。为评估所提框架，我们在 Pano2Vid 基准数据集以及我们从 YouTube 和 Vimeo 新收集的 360 度视频高光数据集上进行了实验。通过使用量化摘要指标和经由 Amazon Mechanical Turk 的用户研究进行评估，我们证明了我们的方法优于几种最先进的高光检测方法。我们还展示了我们的模型在推理时比 AutoCam（最早的 360 度视频摘要算法之一）快 16 倍。
引用
@article{arxiv.1801.10312,
title = {A Deep Ranking Model for Spatio-Temporal Highlight Detection from a 360 Video},
author = {Youngjae Yu and Sangho Lee and Joonil Na and Jaeyun Kang and Gunhee Kim},
journal= {arXiv preprint arXiv:1801.10312},
year = {2018}
}
备注
In AAAI 2018, 9 pages