从频率调制、空间净化和尺度多样性角度提升基于 ViT 的 MRI 重建效果
图像与视频处理
2024-12-17 v1 人工智能
计算机视觉与模式识别
摘要
加速 MRI 重建过程因 k 空间的深度欠采样而呈现出具有挑战性的逆问题。最近，基于视觉转换器 (ViT) 的方法在该任务中取得了显著的性能提升。然而，这些方法仍存在三个显著问题未被解决：(1) ViT 难以捕获图像的高频分量，限制了其检测局部纹理和边缘信息的能力，从而阻碍了 MRI 图像的恢复；(2) 之前的方法在内容中对相关与不相关的 token 之间计算多头自注意力 (MSA)，引入噪声并显著增加计算负担；(3) ViT 中简单的前馈网络无法建模对图像恢复至关重要的多尺度信息。本文提出了 FPS-Former，一个强大的基于 ViT 的框架，通过频率调制、空间净化和尺度多样化三个角度来解决上述问题。具体而言，对于问题 (1)，我们引入频率调制注意力模块，通过拉普拉斯金字塔自适应重校准频率信息来增强自注意力图；对于问题 (2)，我们定制化了空间净化注意力模块，以捕获 closely related token 之间的相互作用，从而减少冗余或不相关的特征表示；对于问题 (3)，我们基于混合尺度融合策略提出了高效的前馈网络。在三个公开数据集上的全面实验表明，我们的 FPS-Former 在保持更低计算成本的同时超越了当前最先进的方法。
引用
@article{arxiv.2412.10776,
title = {Boosting ViT-based MRI Reconstruction from the Perspectives of Frequency Modulation, Spatial Purification, and Scale Diversification},
author = {Yucong Meng and Zhiwei Yang and Yonghong Shi and Zhijian Song},
journal= {arXiv preprint arXiv:2412.10776},
year = {2024}
}