利用视频显著性与轨迹信息预测体积视频流视口
计算机视觉与模式识别
2025-06-06 v3 多媒体
摘要
体积视频，又称全息视频，是一种在虚拟现实（VR）、增强现实（AR）和混合现实（MR）中呈现自然内容的新颖媒介。它有望成为下一代视频技术以及5G及以后无线通信的普遍用例。考虑到每个用户通常只观看体积视频的一部分，即视口，精确的视口预测对于最优性能至关重要。然而，该主题的研究仍处于起步阶段。最终，本文提出一种名为显著性与轨迹视口预测（STVP）的新方法，旨在提高体积视频流中视口预测的精度。STVP广泛利用视频显著性信息和视口轨迹。据我们所知，这是体积视频流中视口预测的首次综合性研究。特别地，我们引入一种新颖的采样方法——均匀随机采样（URS），以在高效保留视频特征的同时降低计算复杂度。随后我们提出一种结合空间与时间信息的显著性检测技术，用于检测静态、动态几何及颜色显著区域。最后，我们智能融合显著性与轨迹信息以实现更精确的视口预测。我们利用最先进的体积视频序列进行了大量仿真以评估所提议视口预测方法的有效性。实验结果表明所提方法优于现有方案。数据集与源代码将在录用后公开。
引用
@article{arxiv.2311.16462,
title = {Viewport Prediction for Volumetric Video Streaming by Exploring Video Saliency and Trajectory Information},
author = {Jie Li and Zhixin Li and Zhi Liu and Pengyuan Zhou and Richang Hong and Qiyue Li and Han Hu},
journal= {arXiv preprint arXiv:2311.16462},
year = {2025}
}