面向高维存储媒体导航式流传输的地标选取方法
多媒体
2022-02-09 v3
摘要
现代媒体数据如360度视频与光场(LF)图像通常以远高于观察者视觉显示的维度被捕获。为在带宽受限网络上高效浏览高维媒体,本文考虑一种导航式流传输模型:客户端通过向服务器指定导航路径来浏览大型媒体空间,服务器据此依次逐个单位向客户端传输对应的预编码媒体数据单元(MDU)。对MDU进行帧内编码(I-MDU)会导致较高码率,但I-MDU可随机访问;而使用另一MDU作为预测器进行帧间编码(P-MDU)编码代价小,但引入了顺序约束,即预测器须先被传输与解码。从压缩角度看,技术挑战在于:如何通过对MDU的帧间编码获得编码增益,同时提供充分的随机访问以支持满意的用户导航。为此,我们提出地标(landmarks),即从高维媒体中选取若干关键MDU。以地标为预测器,对局部邻域内的邻近MDU进行帧间编码,从而形成编码代价受控的预测式MDU结构。这意味着任何被请求的MDU最多只需传输一个地标和一个帧间编码MDU即可解码,从而实现导航式随机访问。为构建带地标的MDU结构,我们采用树结构矢量量化器(TSVQ)首先优化地标位置,随后利用快速分支定界技术迭代增删帧间编码MDU作为细化。以交互式LF图像与视口自适应360度图像为示例应用,并采用I帧、P帧及先前提出的合并帧进行MDU的帧内与帧间编码,实验表明带地标的MDU结构相较无地标结构可显著降低期望传输代价。
引用
@article{arxiv.2104.06876,
title = {Landmarking for Navigational Streaming of Stored High-Dimensional Media},
author = {Yuan Yuan and Gene Cheung and Pascal Frossard and H. Vicky Zhao and Jiwu Huang},
journal= {arXiv preprint arXiv:2104.06876},
year = {2022}
}
备注
15 pages, 13 figures,accepted by TCSVT. With supplementary files