基于残差CNN辅助JPEG的光场压缩
图像与视频处理
2022-04-20 v2 机器学习
摘要
光场(LF)成像因近期在三维(3D)显示与渲染以及增强现实和虚拟现实应用中的成功而受到广泛关注。然而,由于多出两个维度,LF比传统图像大得多。我们开发了一种JPEG辅助的基于学习的技术,从JPEG比特流中以平均每个像素0.0047比特的比率重建LF。在压缩时,我们保留LF的中心视点,并使用50%质量的JPEG压缩。我们的重建流程包括一个小型JPEG增强网络(JPEG-Hance)、一个深度估计网络(Depth-Net),随后通过对增强的中心视点进行扭曲来实现视点合成。我们的流程在压缩和解压缩上都比在从LF提取的伪序列上使用视频压缩快得多,同时保持有效性能。我们表明,在1%的压缩时间开销和18倍的解压缩加速下,与用于压缩LF的当前最优视频压缩技术相比,我们方法重建的LF具有更好的结构相似性指数(SSIM)和可比的峰值信噪比(PSNR)。
引用
@article{arxiv.2010.00062,
title = {Light Field Compression by Residual CNN Assisted JPEG},
author = {Eisa Hedayati and Timothy C. Havens and Jeremy P. Bos},
journal= {arXiv preprint arXiv:2010.00062},
year = {2022}
}