用于 CT 到 MRI 转换的软掩码 Mamba 扩散模型
计算机视觉与模式识别
2024-06-25 v1
摘要
磁共振成像 (MRI) 和运动断层扫描 (CT) 是医学影像领域的主要成像模态。虽然 MRI 能更细致地捕捉解剖结构的复杂性，但其费用更高且图像获取时间更长。本研究旨在训练用于 CT 到 MRI 转换的潜在扩散模型，将常用的 U-Net 或 Transformer 作为骨干网络替换为 operate on latent patches 的状态空间模型 (SSM)，称为 Mamba。首先，我们注意到大多数基于 Mamba 的视觉方法在扫描方案上的关键疏漏，包括对 patch token 空间连续性的不足以及对其对目标任务重要性的忽视。其次，基于这一洞见，我们引入扩散 Mamba (DiffMa)，采用软掩码将 Cross-Sequence Attention 集成到 Mamba 中，并以螺旋方式进行选择性扫描。最后，大量实验表明 DiffMa 在医学图像生成任务中表现出色，尤其在输入缩放效率上优于现有基准模型。代码和模型已公开于 https://github.com/wongzbb/DiffMa-Diffusion-Mamba。
关键词
引用
@article{arxiv.2406.15910,
title = {Soft Masked Mamba Diffusion Model for CT to MRI Conversion},
author = {Zhenbin Wang and Lei Zhang and Lituan Wang and Zhenwei Zhang},
journal= {arXiv preprint arXiv:2406.15910},
year = {2024}
}