HSMF-Net：面向沉浸式远程呈现与按需 360 度视频的语义视口预测
图像与视频处理
2020-09-10 v1
摘要
沉浸式远程呈现系统的接受度受到延迟的阻碍，该延迟存在于将远程环境中真实存在感传递给本地人类用户的过程中。用户自身运动与视觉响应之间的不一致会引发运动病的发生。视口或头部运动（HM）预测技术在补偿用户与远程站点之间显著延迟方面起着关键作用。我们提出了一种基于深度学习的视口预测范式，以晚期融合方式将过去的 HM 轨迹与场景语义相融合。使用真实 HM 剖面来评估所提方法。获得了高达 99.99% 的平均补偿率，明显优于当前最优（SOTA）。提出了一个按需 360 度视频流框架以证明其普遍有效性。所提方法在需要显著更低传输速率的同时提升了感知视频质量。
引用
@article{arxiv.2009.04015,
title = {HSMF-Net: Semantic Viewport Prediction for Immersive Telepresence and On-Demand 360-degree Video},
author = {Tamay Aykut and Basak Gülezyüz and Bernd Girod and Eckehard Steinbach},
journal= {arXiv preprint arXiv:2009.04015},
year = {2020}
}