面向 360 度视频时空摘要的集成系统
计算机视觉与模式识别
2023-12-06 v1
摘要
本文提出一个面向 360 度视频时空摘要的集成系统。视频摘要的生成主要涉及显著事件的检测及其合成为简洁摘要。分析部分依赖当前最先进的 360 度视频显著性检测方法（ATSal 和 SST-Sal）以及视频摘要方法（CA-SUM）。系统还包含一个机制，根据录制过程中使用静态或移动摄像机对 360 度视频进行分类，并据此决定采用哪种显著性检测方法；同时包含一个 2D 视频生成组件，负责创建包含 360 度视频中显著事件的常规 2D 视频。使用两个 360 度视频显著性检测数据集（VR-EyeTracking、Sports-360）进行的定量评估，展示了所开发决策机制的准确性和积极影响，并证明了我们选择两种不同方法检测显著事件的合理性。利用这些数据集内容进行的定性分析，进一步揭示了决策机制的功能，展示了每种显著性检测方法的优缺点，并证明了经过训练的摘要方法相较于更传统方法的优越性能。
引用
@article{arxiv.2312.02576,
title = {An Integrated System for Spatio-Temporal Summarization of 360-degrees Videos},
author = {Ioannis Kontostathis and Evlampios Apostolidis and Vasileios Mezaris},
journal= {arXiv preprint arXiv:2312.02576},
year = {2023}
}
备注
Accepted for publication, 30th Int. Conf. on MultiMedia Modeling (MMM 2024), Amsterdam, NL, Jan.-Feb. 2024. This is the "submitted manuscript" version