基于状态空间模型的多尺度表示学习用于图像恢复
计算机视觉与模式识别
2024-08-20 v1
摘要
图像恢复旨在从退化图像中重建高质量、细节丰富的图像，这是摄影和各种计算机视觉系统中的关键过程。在现实场景中，不同类型的退化会导致不同尺度的图像细节丢失并降低图像对比度。现有方法主要依赖CNN和Transformer来捕获多尺度表示。然而，这些方法常受限于Transformer的高计算复杂度和CNN的受限感受野，阻碍了它们在图像恢复中实现优越的性能和效率。为应对这些挑战，我们提出了一种新颖的多尺度状态空间模型（MS-Mamba），通过所提出的全局和区域SSM模块高效地进行图像恢复，增强多尺度表示学习能力。此外，我们提出了自适应梯度块（AGB）和残差傅里叶块（RFB），通过捕获各个方向的梯度并促进频域中的细节学习来提升网络的细节提取能力。在四个经典图像恢复任务——图像去雨、去雾、去噪和暗光增强——上的九个公开基准数据集上的广泛实验表明，所提出的方法在保持低计算复杂度的同时达到了新的最先进性能。源代码将公开发布。
引用
@article{arxiv.2408.10145,
title = {Multi-Scale Representation Learning for Image Restoration with State-Space Model},
author = {Yuhong He and Long Peng and Qiaosi Yi and Chen Wu and Lu Wang},
journal= {arXiv preprint arXiv:2408.10145},
year = {2024}
}