面向多对比度 MRI 超分辨率的复合注意力与邻域匹配网络
图像与视频处理
2024-10-28 v3 计算机视觉与模式识别
摘要
多对比度磁共振成像（MRI）从不同视角反映人体组织信息，具有诸多临床应用。通过利用不同模态间的互补信息，MRI 的多对比度超分辨率（SR）可比单图像超分辨率取得更好结果。然而，现有多对比度 MRI SR 方法存在以下可能限制其性能的缺陷：首先，现有方法要么简单拼接参考特征与退化特征，要么利用二者间的全局特征匹配，这并不适合多对比度 MRI SR。其次，尽管许多近期方法采用 transformers 来捕捉空间维度上的长程依赖，它们忽视了通道维度上的自注意力对于底层视觉任务同样重要。为应对这些缺陷，我们提出了一种具有复合注意力与邻域匹配（CANM-Net）的新颖网络架构用于多对比度 MRI SR：复合自注意力机制有效捕捉空间与通道维度上的依赖关系；基于邻域的特征匹配模块被用于匹配退化特征与相邻参考特征，进而融合它们以获得高质量图像。我们在 IXI、fastMRI 及真实扫描数据集上进行了 SR 任务实验。CANM-Net 在回顾性与前瞻性实验中均优于最先进的方法。此外，我们工作中的鲁棒性研究表明，当参考图像与退化图像配准不完美时，CANM-Net 仍取得良好性能，证明了其在临床应用中的良好潜力。
引用
@article{arxiv.2307.02148,
title = {Compound Attention and Neighbor Matching Network for Multi-contrast MRI Super-resolution},
author = {Wenxuan Chen and Sirui Wu and Shuai Wang and Zhongsen Li and Jia Yang and Huifeng Yao and Xiaolei Song},
journal= {arXiv preprint arXiv:2307.02148},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication