MaIR：一种用于图像恢复的局部性与连续性保留的Mamba模型
计算机视觉与模式识别
2025-03-25 v2
摘要
近期Mamba技术的发展在图像恢复中显示出前景。这些方法通常将2D图像展平为多个独立的1D序列沿行和列，分别使用选择扫描操作处理每个序列，然后重新组合以形成输出。然而，这种范式忽略了两个关键方面：i）自然图像中固有的局部关系和空间连续性；ii）通过完全不同方式展开的序列之间的差异。为克服这些缺点，我们探索了Mamba-based恢复方法中的两个问题：i）如何设计一种既保留局部性又保持连续性且便于恢复的扫描策略；ii）如何聚合通过完全不同方式展开的序列。为此，我们提出了一种新的基于Mamba的图像恢复模型（MaIR），其中包含嵌套S形扫描策略（NSS）和序列混洗注意力块（SSA）。具体而言，NSS通过基于条纹的扫描区域和S形扫描路径分别保留输入图像的局部性和连续性。SSA通过计算不同序列在相应通道内的注意力权重来聚合序列。得益于NSS和SSA，MaIR超过了40个基线模型，在14个具有挑战性的数据集上取得了卓越的性能，在图像超分辨、去噪、去模糊和去雾等任务上实现了最先进的性能。代码已发布于https://github.com/XLearning-SCU/2025-CVPR-MaIR。
引用
@article{arxiv.2412.20066,
title = {MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration},
author = {Boyun Li and Haiyu Zhao and Wenxin Wang and Peng Hu and Yuanbiao Gou and Xi Peng},
journal= {arXiv preprint arXiv:2412.20066},
year = {2025}
}
备注
Accepted by CVPR2025