基于k空间采样模式注意力的多分支级联Swin Transformer用于加速MRI重建
图像与视频处理
2022-12-22 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
由于组织和骨骼间的相似性，人体解剖结构中广泛存在全局相关性。这些相关性在磁共振成像（MRI）扫描中体现为相近的质子密度与T1/T2参数。此外，为实现加速MRI，k空间数据被欠采样，从而导致全局混叠伪影。卷积神经网络（CNN）模型被广泛用于加速MRI重建，但这类模型因卷积运算固有的局部性而难以捕捉全局相关性。基于自注意力的Transformer模型能够捕捉图像特征间的全局相关性，然而当前Transformer模型对MRI重建的贡献甚微。现有贡献多提供CNN-Transformer混合方案，且很少利用MRI的物理特性。本文提出一种基于物理的独立（无卷积）Transformer模型，称为多分支级联Swin Transformer（McSTRA），用于加速MRI重建。McSTRA将若干相互关联的MRI物理概念与Transformer网络结合：它通过移位窗口自注意力机制利用全局MR特征；通过多头部设置分别提取属于不同频谱分量的MR特征；通过具有k空间数据一致性与中间损失计算的级联网络在中间去混叠与k空间校正间迭代；此外，我们提出一种新颖的位置嵌入生成机制，利用对应于欠采样掩模的点扩散函数来引导自注意力。我们的模型在视觉与定量上均显著优于最先进的MRI重建方法，同时展现出更高分辨率并去除了混叠伪影。
引用
@article{arxiv.2207.08412,
title = {Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction},
author = {Mevan Ekanayake and Kamlesh Pawar and Mehrtash Harandi and Gary Egan and Zhaolin Chen},
journal= {arXiv preprint arXiv:2207.08412},
year = {2022}
}