基于微图像预处理与全局注意力的学习型聚焦光场图像压缩
计算机视觉与模式识别
2023-05-02 v1 多媒体
摘要
聚焦光场相机能够同时记录光场（LF）的空间和角度信息，且相比传统光场相机具有更高的空间分辨率，这促进了其在计算机视觉中的各种应用。然而，现有的光场图像压缩方法由于微透镜中继成像产生的复杂微纹理以及微图像间的长距离相关性，对所捕获图像效果不佳。本文提出一种有损端到端学习架构以高效压缩聚焦光场图像。首先，根据成像原理设计数据预处理方案，去除所记录光场中的子孔径图像无效像素，并将微图像对齐到矩形网格。然后，提出具有大感受野的全局注意力模块，利用重采样过程中计算的逐像素向量注意力来捕获特征图间的全局相关性。此外，构建了一个由1910张具有内容和深度多样性的聚焦光场图像组成的新图像数据集，以利于训练和测试。大量实验评估证明了所提方法的有效性。在20张预处理后的聚焦光场图像上，它分别比HEVC和VVC帧内编码平均减少62.57%和51.67%的比特率。同时，与最先进的端到端图像压缩方法相比，它实现了18.73%的比特率节省并生成感知上令人满意的重建图像，极大裨益了聚焦光场相机应用。数据集和代码公开于 https://github.com/VincentChandelier/GACN。
引用
@article{arxiv.2305.00489,
title = {Learned Focused Plenoptic Image Compression with Microimage Preprocessing and Global Attention},
author = {Kedeng Tong and Xin Jin and Yuqing Yang and Chen Wang and Jinshi Kang and Fan Jiang},
journal= {arXiv preprint arXiv:2305.00489},
year = {2023}
}
备注
14 pages, 15 figures, accepted by IEEE Transactions on Multimedia