基于Transformer赋能的多尺度上下文匹配与聚合的多对比MRI超分辨率
图像与视频处理
2022-03-29 v1 计算机视觉与模式识别
摘要
磁共振成像（MRI）可呈现同一解剖结构的多对比图像，从而实现多对比超分辨率（SR）技术。与使用单对比的SR重建相比，多对比SR重建有望通过利用不同成像模态中蕴含的多样且互补的信息，产生更高质量的SR图像。然而，现有方法仍存在两点不足：（1）它们忽视了不同尺度的多对比特征包含不同的解剖细节，因而缺乏有效的机制来匹配与融合这些特征以获得更好的重建；（2）它们在捕获长程依赖方面仍有欠缺，而长程依赖对于具有复杂解剖结构的区域至关重要。我们提出了一种新颖的网络，通过开发一系列创新的Transformer赋能的多尺度上下文匹配与聚合技术来全面解决这些问题；我们称之为McMRSR。首先，我们驯用transformers来建模参考图像与目标图像中的长程依赖。然后，提出一种新的多尺度上下文匹配方法，以从不同尺度的参考特征中捕获对应的上下文。此外，我们引入一种多尺度聚合机制，逐步且交互式地聚合多尺度匹配特征，以重建目标SR MR图像。大量实验表明，我们的网络优于当前最优方法，并具有在临床实践中应用的巨大潜力。代码见 https://github.com/XAIMI-Lab/McMRSR。
引用
@article{arxiv.2203.13963,
title = {Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution},
author = {Guangyuan Li and Jun Lv and Yapeng Tian and Qi Dou and Chengyan Wang and Chenliang Xu and Jing Qin},
journal= {arXiv preprint arXiv:2203.13963},
year = {2022}
}
备注
CVPR 2022 accepted