GMSR：用于从 RGB 图像重建光谱的梯度引导 Mamba
计算机视觉与模式识别
2024-10-10 v2 图像与视频处理
摘要
主流的光谱重建 (SR) 方法主要聚焦于设计基于卷积和 Transformer 的架构。然而,CNN 方法在处理长程依赖问题时常面临挑战,而 Transformer 则受限于计算效率。近期在状态空间模型 (如 Mamba) 方面的突破因其接近线性计算效率和卓越性能而引起广泛关注,促使我们调查其在 SR 问题中的潜力。为此,我们提出了用于从 RGB 图像重建光谱的梯度引导 Mamba,并命名为 GMSR-Net。GMSR-Net 是一个轻量级模型,具有全局感受野和线性计算复杂度。其核心由多个堆叠的梯度 Mamba (GM) 块组成,每个块都具有三支结构。除了受益于 Mamba 块实现的高效全局特征表示外,我们进一步创造性地引入了空间梯度注意力和光谱梯度注意力以引导空间和光谱线索的重建。GMSR-Net 在显著降低参数数量和计算负担的同时,实现了显著的精度-效率权衡,在保持最先进性能的同时,参数和 FLOPS 分别大幅减少约 10 倍和 20 倍。代码已公开于 https://github.com/wxy11-27/GMSR。
引用
@article{arxiv.2405.07777,
title = {GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images},
author = {Xinying Wang and Zhixiong Huang and Sifan Zhang and Jiawen Zhu and Paolo Gamba and Lin Feng},
journal= {arXiv preprint arXiv:2405.07777},
year = {2024}
}