渐进分裂 Mamba:图像修复的有效状态空间建模
计算机视觉与模式识别
2026-03-11 v1
摘要
图像修复需要同时保留细粒度的局部结构并保持长程空间一致性。虽然卷积网络受限于感受野,Transformers 因全局注意力的二次复杂度而受限,但最近的状态空间模型(SSM),如 Mamba,为长程依赖建模提供了线性时间的替代方案。然而, naively 将 Mamba 应用于 2D 图像会暴露出两个内在缺陷。首先,将 2D 特征图展平为 1D 序列破坏了空间拓扑,导致局部性失真,阻碍精确的结构恢复。其次,SSMs 的稳定性驱动的递归动力学导致长程衰减,逐渐削弱远距离空间位置的信息,削弱了全局一致性。我们提出了 Progressive Split-Mamba(PS-Mamba),一个面向局部性保存与高效全局传播的拓扑感知层次状态空间框架。我们不按顺序展平整个特征图,而是进行几何一致的分区,在状态空间处理前保持邻域完整性。渐进分裂层次(二分、四分之一、八分之一)实现了结构化的多尺度建模,同时保持线性复杂度。为抵消长程衰减,我们引入对称的跨尺度捷径路径,直接在层次之间传递低频全局上下文,稳定了大范围空间范围内的信息流。广泛的在超分辨率、去噪和 JPEG 伪影还原上的实验表明,我们的方法在最新 Mamba 基于和注意力模型上都表现出明显的优势。
引用
@article{arxiv.2603.09171,
title = {Progressive Split Mamba: Effective State Space Modelling for Image Restoration},
author = {Mohammed Hassanin and Nour Moustafa and Weijian Deng and Ibrahim Radwan},
journal= {arXiv preprint arXiv:2603.09171},
year = {2026}
}