用于MRI重建与超分辨率联合的任务Transformer网络
图像与视频处理
2021-12-16 v3 计算机视觉与模式识别
摘要
磁共振成像(MRI)的核心问题在于加速与图像质量之间的权衡。图像重建与超分辨率是磁共振成像(MRI)中的两项关键技术。现有方法被设计为分别执行这些任务，忽略了它们之间的相关性。在本工作中，我们提出一种端到端的任务Transformer网络(TNet)，用于MRI重建与超分辨率的联合处理，该网络允许多任务之间共享表示与特征传递，从而从高度欠采样和退化的MRI数据中获取更高质量、超分辨率且无运动伪影的图像。我们的框架将重建与超分辨率相结合，分为两个子分支，其特征分别表示为查询与键。具体而言，我们鼓励两个任务之间的联合特征学习，从而传递准确的任务信息。我们首先使用两个独立的CNN分支提取任务特定特征。然后，设计了一个任务Transformer模块来嵌入并合成两个任务之间的相关性。实验结果表明，我们的多任务模型在定量与定性上均显著优于先进的串行方法。
引用
@article{arxiv.2106.06742,
title = {Task Transformer Network for Joint MRI Reconstruction and Super-Resolution},
author = {Chun-Mei Feng and Yunlu Yan and Huazhu Fu and Li Chen and Yong Xu},
journal= {arXiv preprint arXiv:2106.06742},
year = {2021}
}