将 Mamba 引向复杂纹理：一种用于图像恢复的高效纹理感知状态空间模型
计算机视觉与模式识别
2025-06-12 v2
摘要
图像恢复旨在恢复退化图像中的细节并增强对比度。随着对高质量成像（如 4K 和 8K）的需求不断增长，在恢复质量与计算效率之间取得平衡变得日益关键。现有方法主要基于 CNN、Transformer 或其混合方法，对图像应用均匀的深度表示提取。然而，这些方法通常难以有效建模长距离依赖，且很大程度上忽略了图像退化的空间特征（纹理更丰富的区域往往遭受更严重的破坏），使得难以在恢复质量与效率之间实现最佳权衡。为了解决这些问题，我们提出了一种新颖的纹理感知图像恢复方法 TAMambaIR，它能够同时感知图像纹理并在性能与效率之间取得平衡。具体而言，我们引入了一种新颖的纹理感知状态空间模型，该模型通过调制状态空间方程的转移矩阵并聚焦于复杂纹理区域，来增强纹理感知并提高效率。此外，我们设计了一个多方向感知块，以在保持低计算开销的同时改善多方向感受野。在图像超分辨率、去雨和低光照图像增强基准上的大量实验表明，TAMambaIR 实现了最先进的性能并显著提高了效率，确立了其作为稳健且高效的图像恢复框架的地位。
引用
@article{arxiv.2501.16583,
title = {Directing Mamba to Complex Textures: An Efficient Texture-Aware State Space Model for Image Restoration},
author = {Long Peng and Xin Di and Zhanfeng Feng and Wenbo Li and Renjing Pei and Yang Wang and Xueyang Fu and Yang Cao and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2501.16583},
year = {2025}
}
备注
Accepted by the 34th International Joint Conference on Artificial Intelligence (IJCAI 2025)