$\text{S}^{3}$Mamba: 基于可扩展状态空间模型的任意尺度超分辨率
计算机视觉与模式识别
2024-11-20 v1
摘要
任意尺度超分辨率 (ASSR) 旨在使用单一模型将低分辨率图像超分辨为任意尺度的高分辨率图像，以解决传统超分辨率方法受限于固定尺度因子（如 、）的局限性。隐式神经表示 (INR) 的出现为 ASSR 带来了大量新方法，这些方法通过为坐标和像素值建模连续表示空间来促进原始连续信号的重建，从而实现任意尺度超分辨率。因此，ASSR 的主要目标是构建从低分辨率输入导出的连续表示空间。然而，现有主要基于 CNN 和 Transformer 的方法面临计算复杂度高和长程依赖建模不足等重大挑战，这阻碍了它们在实际应用中的有效性。为了克服这些局限性，我们提出了一种名为 Mamba 的新型任意尺度超分辨率方法，以构建可扩展的连续表示空间。具体而言，我们提出了一种可扩展状态空间模型 (SSSM)，在离散化过程中调制状态转移矩阵和步长的采样矩阵，以线性计算复杂度实现可扩展的连续表示建模。此外，我们提出了一种新颖的尺度感知自注意力机制，进一步增强网络在不同尺度下感知全局重要特征的能力，从而构建 Mamba 以实现卓越的任意尺度超分辨率。在合成和真实世界基准上的大量实验表明，我们的方法在任意超分辨率尺度下均实现了 SOTA 性能和卓越的泛化能力。
引用
@article{arxiv.2411.11906,
title = {$\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model},
author = {Peizhe Xia and Long Peng and Xin Di and Renjing Pei and Yang Wang and Yang Cao and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2411.11906},
year = {2024}
}