基于状态空间模型的轻量化光场图像超分辨率
计算机视觉与模式识别
2024-06-19 v1 图像与视频处理
摘要
近年来，随着现代神经网络的进步，光场图像超分辨率 (LFSR) 取得了显著进展。然而，这些方法常常面临捕获长程依赖性 (基于 CNN) 或遇到二次计算复杂度 (基于 Transformer) 的挑战，限制了其性能。最近，具有选择性扫描机制 (S6) 的状态空间模型 (SSM)，以 Mamba 为典型代表，在 various vision tasks 中相较于传统 CNN 和 Transformer 方法表现更佳，由于其有效的长程序列建模能力和线性时间复杂度。因此，将 S6 集成到 LFSR 中备受青睐，尤其是考虑到 4D 光场数据的庞大数据量。然而，主要挑战在于设计适合的扫描方法，用于 4D 光场以有效建模光场特征。为解决这一问题，我们在 4D 光场的具有信息性的 2D 切片上应用 SSM，以充分探索空间上下文信息、互补角度信息和结构信息。为此，我们仔细设计了一个具有高效 SS2D 机制的基本 SSM 块，以便更有效、更高效地对这些 2D 切片进行特征学习。基于上述两种设计，我们进一步提出了一个用于 LFSR 的 SSM 网络，称为 LFMamba。在 LF 基准数据集上的实验结果表明，LFMamba 性能卓越。此外，进行了大量消融研究，以验证我们方法的有效性和通用性。我们期望 LFMamba 为使用状态空间模型对 LF 进行有效表示学习提供指导。
引用
@article{arxiv.2406.12463,
title = {LFMamba: Light Field Image Super-Resolution with State Space Model},
author = {Wang xia and Yao Lu and Shunzhou Wang and Ziqi Wang and Peiqi Xia and Tianfei Zhou},
journal= {arXiv preprint arXiv:2406.12463},
year = {2024}
}