空间可见性与时序动力学： revolutionize 自适应点云视频流媒体中的视野预测
计算机视觉与模式识别
2024-10-03 v2 机器学习
多媒体
图像与视频处理
摘要
视野（FoV）自适应流媒体显著减少沉浸式点云视频（PCV）的带宽需求，仅传输观看者视野内的可见点。传统方法常聚焦于基于轨迹的 6 自由度（6DoF） FoV 预测。预测的 FoV 随后用于计算点可见性，这类方法未显式考虑视频内容对观众注意力的影响，且从 FoV 到点可见性的转换往往容易出错且耗时。我们从单元可见性角度重新构建 PCV FoV 预测问题，允许在预测的可见性分布基础上，对 3D 数据进行单元级的精确传输决策。我们开发了一种新的空间可见性和面向对象图模型，利用历史 3D 可见性数据，融合空间感知、相邻单元关联及遮挡信息，预测未来单元的可见性。该模型在长期单元可见性预测方面显著优于现有方法，将预测 MSE 损失降低最高可达 50%，同时保持实时性能（超过 30fps），适用于超过 100 万点的点云视频。
引用
@article{arxiv.2409.18236,
title = {Spatial Visibility and Temporal Dynamics: Revolutionizing Field of View Prediction in Adaptive Point Cloud Video Streaming},
author = {Chen Li and Tongyu Zong and Yueyu Hu and Yao Wang and Yong Liu},
journal= {arXiv preprint arXiv:2409.18236},
year = {2024}
}