学习非局部空间-角度相关性用于光场图像超分辨率
计算机视觉与模式识别
2023-08-14 v3
摘要
利用空间-角度相关性对光场（LF）图像超分辨率（SR）至关重要，但由于 LF 图像间视差导致的非局部特性，这一利用极具挑战。尽管已开发许多深度神经网络（DNNs）用于 LF 图像 SR 并取得持续提升的性能，现有方法不能很好地捕捉长程空间-角度相关性，因此在处理具有大视差变化的场景时性能显著下降。本文中，我们提出一种简单而有效的方法学习非局部空间-角度相关性用于 LF 图像 SR。在我们的方法中，我们采用极平面图像（EPI）表示将 4D 空间-角度相关性投影到多个 2D EPI 平面上，随后开发具有重复自注意力操作的 Transformer 网络，通过建模每对 EPI 像素间的依赖关系来学习空间-角度相关性。我们的方法能充分融合所有角度视图的信息，同时沿极线实现全局感受野。我们进行了大量实验与深入可视化以验证方法有效性。在五个公开数据集上的对比结果表明，我们的方法不仅取得最先进的 SR 性能，而且对视差变化具有鲁棒性。代码已公开于 https://github.com/ZhengyuLiang24/EPIT。
引用
@article{arxiv.2302.08058,
title = {Learning Non-Local Spatial-Angular Correlation for Light Field Image Super-Resolution},
author = {Zhengyu Liang and Yingqian Wang and Longguang Wang and Jungang Yang and Shilin Zhou and Yulan Guo},
journal= {arXiv preprint arXiv:2302.08058},
year = {2023}
}
备注
Accepted by ICCV 2023