用于光场图像超分辨的物理信息集成表征
图像与视频处理
2023-06-01 v1 计算机视觉与模式识别
摘要
近期基于学习的方法通过探索基于卷积或基于 Transformer 的网络结构，在光场（LF）图像超分辨率（SR）上取得了显著进展。然而，LF 成像具有许多尚未被充分利用的内在物理先验。本文中，我们分析 LF 成像过程的坐标变换以揭示 LF 图像中的几何关系。基于此类几何先验，我们引入了一种虚拟狭缝图像（VSI）的新 LF 子空间，其提供对子孔径图像的亚像素互补信息。为以可控复杂度利用四维数据间的丰富相关性，我们提出对所有 个 LF 子空间学习集成表征，以实现更有效的特征提取。为从欠采样 LF 数据超分辨图像结构，我们提出一种几何感知解码器，称为 EPIXformer，其利用 LF 物理先验约束 Transformer 的操作搜索区域。在空间与角度 SR 任务上的实验结果表明，所提方法优于其他最先进（state-of-the-art）方案，尤其在应对各种视差时。
引用
@article{arxiv.2305.20006,
title = {Physics-Informed Ensemble Representation for Light-Field Image Super-Resolution},
author = {Manchang Jin and Gaosheng Liu and Kunshu Hu and Xin Luo and Kun Li and Jingyu Yang},
journal= {arXiv preprint arXiv:2305.20006},
year = {2023}
}