基于 Monte Carlo Arbitrary-Masked Mamba 提高医学图像重建全局灵敏度与不确定性量化
图像与视频处理
2024-06-27 v2 计算机视觉与模式识别
摘要
深度学习已在医学图像重建中得到广泛应用，其中卷积神经网络（CNN）和视觉Transformer（ViT）是主要的两大范式，各自具有不同的优势和内在局限性：CNN 具有线性复杂度和局部灵敏性，而 ViT 具有二次复杂度和全局灵敏性。新兴的 Mamba 在学习视觉表征方面表现出优越性，兼具线性可扩展性和全局灵敏性。本研究引入基于小波分解的任意掩码 Mamba 模型 MambaMIR，用于联合医学图像重建与不确定性估计。提出的 novel Arbitrary Scan Masking（ASM）机制通过“掩码”冗余信息以引入随机性，以进一步进行不确定性估计。相较于常用的蒙特卡罗（MC）dropout，我们的方法无需调节超参数即可提供不确定性图，并缓解了在低层任务中常规 dropout 导致的性能下降。为进一步实现纹理保留和更佳感知质量，我们将小波变换引入 MambaMIR，并探索其基于生成对抗网络的变体，即 MambaMIR-GAN。进行了针对多个代表性医学图像重建任务的全面实验，结果表明，所提出的 MambaMIR 和 MambaMIR-GAN 在不同重建任务中均优于其他基线和最新方法，其中 MambaMIR 实现最佳的重建保真度，MambaMIR-GAN 拥有最佳的感知质量。此外，我们的 MC-ASM 提供不确定性图作为临床工作者的另一工具，同时缓解了常规 dropout 引起的典型性能下降。
引用
@article{arxiv.2405.17659,
title = {Enhancing Global Sensitivity and Uncertainty Quantification in Medical Image Reconstruction with Monte Carlo Arbitrary-Masked Mamba},
author = {Jiahao Huang and Liutao Yang and Fanwen Wang and Yang Nan and Weiwen Wu and Chengyan Wang and Kuangyu Shi and Angelica I. Aviles-Rivero and Carola-Bibiane Schönlieb and Daoqiang Zhang and Guang Yang},
journal= {arXiv preprint arXiv:2405.17659},
year = {2024}
}