基于真实世界光场可扩展混合分层表示的无眼镜3D显示分层编码方案
计算机视觉与模式识别
2021-04-20 v1
摘要
本文提出了一种基于低秩乘性层和傅里叶视差层的透射模式的新颖光场分层编码方案。所提方案从由不同扫描顺序确定的光场视图子集中学习堆叠的乘性层。乘性层使用快速数据驱动的卷积神经网络(CNN)进行优化。层模式中的空间相关性通过基于Krylov子空间上奇异值分解得到的因式分解中变化的低秩来利用。此外,使用HEVC编码有效地去除低秩近似层中的视内和视间相关性。来自乘性表示的近似解码视图的初始子集用于构建傅里叶视差层(FDL)表示。FDL模型合成由预定义分层预测顺序标识的第二视图子集。合成视图的预测残差之间的相关性通过编码残差信号进一步消除。从解码残差获得的视图集被用于细化FDL模型并以更高精度预测下一组视图。该分层过程重复进行,直到所有光场视图都被编码。所提混合分层表示和编码方案的关键优势在于,它不仅利用空间和时间冗余,而且高效地利用了由不同预测顺序指定的水平和垂直方向上相邻子孔径图像之间的强内在相似性。此外,该方案灵活,可在单一集成系统中实现解码端一系列多种码率。使用真实光场分析的压缩性能显示出显著的码率节省,并保持良好的重建质量。
引用
@article{arxiv.2104.09378,
title = {A Hierarchical Coding Scheme for Glasses-free 3D Displays Based on Scalable Hybrid Layered Representation of Real-World Light Fields},
author = {Joshitha R and Mansi Sharma},
journal= {arXiv preprint arXiv:2104.09378},
year = {2021}
}