MatIR: 一种混合Mamba-Transformer图像复原模型

近年来，基于Transformer的模型凭借其捕捉复杂上下文特征的内在能力，在图像复原领域取得了显著进展。最近，Mamba模型因其处理长程依赖的能力以及相比Transformer显著的计算效率，在计算机视觉领域引起了轰动。然而，Mamba目前在上下文学习能力上仍落后于Transformer。为克服这两种模型的局限性，我们提出了一种名为MatIR的Mamba-Transformer混合图像复原模型。具体而言，MatIR交叉循环Transformer层和Mamba层的模块以提取特征，从而充分利用两种架构的优势。在Mamba模块中，我们引入了图像修复状态空间(IRSS)模块，该模块沿四条扫描路径遍历，以实现长序列数据的高效处理。在Transformer模块中，我们将基于三角窗口的局部注意力与基于通道的全局注意力相结合，以有效激活更广范围图像像素上的注意力机制。大量的实验结果和消融研究证明了我们方法的有效性。