基于 Transformer 的光场图像超分辨率
摘要
光场(LF)图像超分辨率(SR)旨在从其低分辨率对应图像中重建高分辨率光场图像。尽管基于 CNN 的方法在光场图像 SR 中取得了显著性能,但这些方法无法充分建模 4D 光场数据的非局部特性。在本文中,我们提出了一种简单而有效的基于 Transformer 的方法用于光场图像 SR。在我们的方法中,设计了一个角度 Transformer 以融合不同视角间的互补信息,并开发了一个空间 Transformer 以捕获每个子孔径图像内的局部与长程依赖关系。借助所提出的角度与空间 Transformer,光场中的有益信息可被充分利用,从而提升 SR 性能。我们通过大量消融实验验证了角度与空间 Transformer 的有效性,并在五个公开光场数据集上将我们的方法与近期最先进(state-of-the-art, SOTA)方法进行比较。我们的方法以较小的模型尺寸和较低的计算成本实现了优越的 SR 性能。代码见 https://github.com/ZhengyuLiang24/LFT。
引用
@article{arxiv.2108.07597,
title = {Light Field Image Super-Resolution with Transformers},
author = {Zhengyu Liang and Yingqian Wang and Longguang Wang and Jungang Yang and Shilin Zhou},
journal= {arXiv preprint arXiv:2108.07597},
year = {2022}
}
备注
This paper has been accepted by IEEE Signal Processing Letters. The current version on arXiv is identical to the final accepted version in content, but integrates the supplemental material (i.e., related work and visual comparisons) to the main body of the paper. Moreover, figures and tables of the arxiv version were zoomed for better visualization