自先验引导的Mamba-UNet网络用于医学图像超分辨率
计算机视觉与模式识别
2024-07-09 v1
摘要
在本文中，我们提出了一种自先验引导的Mamba-UNet网络(SMamba-UNet)用于医学图像超分辨率。现有方法主要基于卷积神经网络(CNN)或Transformer。基于CNN的方法无法捕捉长程依赖关系，而基于Transformer的方法由于其二次计算复杂度而面临沉重的计算挑战。最近，状态空间模型(SSM)特别是Mamba出现，能够以线性计算复杂度建模长程依赖关系。受Mamba启发，我们的方法旨在学习Mamba-UNet网络下的自先验多尺度上下文特征，这可能有助于以高效的方式超分辨率重建低分辨率医学图像。具体来说，我们通过在网络训练期间扰动输入图像的亮度修复来获得自先验，这可以学习对超分辨率有益的详细纹理和亮度信息。此外，我们将Mamba与Unet网络结合，以挖掘不同层次的全局特征。我们还设计了一个改进的2D选择性扫描(ISS2D)模块，将图像特征划分为不同的方向序列，以学习多个方向上的长程依赖关系，并自适应地融合序列信息以增强超分辨率特征表示。定性和定量实验结果均表明，我们的方法在两个公共医学数据集：IXI和fastMRI上优于当前最先进的方法。
引用
@article{arxiv.2407.05993,
title = {Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution},
author = {Zexin Ji and Beiji Zou and Xiaoyan Kui and Pierre Vera and Su Ruan},
journal= {arXiv preprint arXiv:2407.05993},
year = {2024}
}