用于加速磁共振成像的多模态 Transformer
图像与视频处理
2022-05-12 v3 计算机视觉与模式识别
摘要
加速多模态磁共振（MR）成像是一种新颖且有效的快速 MR 成像方案，可在辅助模态引导下从其欠采样对应部分恢复目标模态，并提供优越性能。然而，现有工作仅将辅助模态作为先验信息简单结合，缺乏对融合不同模态潜在机制的深入探究。此外，它们通常依赖卷积神经网络（CNN），在捕捉长距离依赖时受限于固有的局部性。为此，我们提出一种多模态 Transformer（MTrans），能够将目标模态的多尺度特征迁移至辅助模态，用于加速 MR 成像。为捕捉深层多模态信息，我们的 MTrans 利用一种改进的多头注意力机制，称为交叉注意力模块，其吸收有助于目标模态的辅助模态特征。我们的框架具有三个显著优势：（i）我们的 MTrans 使用改进的 transformer 进行多模态 MR 成像，与现有基于 CNN 的方法相比能获得更多全局信息。（ii）提出一种新的交叉注意力模块，以在不同尺度上利用各模态中的有用信息。目标模态中的小 patch 旨在保留更多精细细节，辅助模态中的大 patch 旨在从更大区域获取高层上下文特征并有效补充目标模态。（iii）我们在多种加速多模态 MR 成像任务（如 MR 图像重建与超分辨率）上评估 MTrans，其在 fastMRI 和真实世界临床数据集上均优于 SOTA 方法。
引用
@article{arxiv.2106.14248,
title = {Multi-Modal Transformer for Accelerated MR Imaging},
author = {Chun-Mei Feng and Yunlu Yan and Geng Chen and Yong Xu and Ling Shao and Huazhu Fu},
journal= {arXiv preprint arXiv:2106.14248},
year = {2022}
}
备注
https://github.com/chunmeifeng/MTrans