融合空间-频率信息的 MMR-Mamba：多模态 MRI 重构
图像与视频处理
2024-07-09 v2 计算机视觉与模式识别
摘要
多模态 MRI 可为诊断和治疗提供有价值的互补信息，但因扫描时间较长受限于实用性。为加速获取过程，实用方法是利用扫描时间较短的参考模态的欠采样 k 空间数据，以引导重建目标模态图像（后者扫描时间较长）。该任务的主要挑战在于全面且高效地整合来自不同模态的互补信息以实现高质量重构。现有方法面临两个问题：1) 基于卷积的模型难以捕获长程依赖；2) 基于转换器的模型虽在全局特征建模方面表现突出，但计算复杂度呈二次方。为此，我们提出 MMR-Mamba—a 新型框架，充分且高效地整合多模态特征进行 MRI 重构，利用 Mamba 捕获长程依赖的线性计算复杂度优势，同时利用傍里叶域的全局属性。具体而言，我们首先设计了空间域中的目标模态引导交叉 Mamba (TCM) 模块，以选择性地整合来自参考模态的相关信息，最大程度恢复目标模态信息。随后，我们引入选择性频率融合 (SFF) 模块，高效整合傍里叶域中的全局信息并恢复结构细节的高频信号。进一步，我们构思了自适应空间-频率融合 (ASFF) 模块，通过补充一个域中信息不足的通道以增强另一个域中的对应通道，实现空间域和频率域的相互增强。
引用
@article{arxiv.2406.18950,
title = {MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion},
author = {Jing Zou and Lanqing Liu and Qi Chen and Shujun Wang and Zhanli Hu and Xiaohan Xing and Jing Qin},
journal= {arXiv preprint arXiv:2406.18950},
year = {2024}
}
备注
10 pages, 5 figure