基于图的去马赛克前光场图像压缩
图像与视频处理
2022-02-23 v2
摘要
非聚焦全光光场(LF)相机在图像传感器前放置微透镜阵列，以分别捕获到达图像像素的不同方向光线。使用传统的Bayer模式，每个像素捕获的数据为单一颜色分量（R、G或B）。随后传感数据经历去马赛克（每像素RGB分量插值）并转换为子孔径图像(SAI)阵列。在本文中，我们提出一种基于图提升变换(GLT)的新型LF图像编码方案，其中所获取的传感器数据以原始捕获形式编码而无需预处理。具体而言，我们将原始传感颜色数据直接映射到SAI，从而在2D网格上形成稀疏分布的颜色像素，并在解码后于接收端执行去马赛克。为利用稀疏像素间的空间相关性，我们提出一种新颖的帧内预测方案，其中预测核根据已从已编码邻域像素块估计的局部梯度来确定。然后我们通过构图连接像素，将预测残差统计建模为高斯马尔可夫随机场(GMRF)。最优边权通过使用一组训练SAI的图学习方法计算。残差数据通过低复杂度GLT编码。实验表明，在高PSNR下——对归档和即时存储场景十分重要——我们的方法显著优于带有去马赛克后接高效视频编码(HEVC)的传统光场图像编码方案。
引用
@article{arxiv.2102.07883,
title = {Pre-demosaic Graph-based Light Field Image Compression},
author = {Yung-Hsuan Chao and Haoran Hong and Gene Cheung and Antonio Ortega},
journal= {arXiv preprint arXiv:2102.07883},
year = {2022}
}
备注
13 pages, 12 figures, 6 tables, Accepted by IEEE Transactions on Image Processing