用于多模态 MRI 重建的具有空间对齐功能的深度展开网络
图像与视频处理
2025-01-09 v2 计算机视觉与模式识别
摘要
多模态磁共振成像（MRI）提供互补的诊断信息，但某些模态受限于较长的扫描时间。为了加速整个采集过程，利用另一个完全采样的参考模态从高度欠采样的 k 空间数据重建某一模态的 MRI 是一种有效的解决方案。然而，临床实践中常见的模态间未对齐可能会 negatively 影响重建质量。现有的考虑模态间未对齐的基于深度学习的方法表现更好，但仍存在两个主要共同局限：(1) 空间对齐任务未自适应地集成到重建过程中，导致两项任务之间的互补性不足；(2) 整个框架的可解释性较弱。在本文中，我们构建了一种具有空间对齐功能的新型深度展开网络，称为 DUN-SA，以适当地将空间对齐任务嵌入到重建过程中。具体而言，我们推导了一种具有专门设计的跨模态空间对齐项的新型联合对齐 - 重建模型。通过将该模型松弛为跨模态空间对齐和多模态重建任务，我们提出了一种有效的算法来交替求解该模型。随后，我们将所提算法的迭代步骤展开，并设计相应的网络模块以构建具有可解释性的 DUN-SA。通过端到端训练，我们仅利用重建损失有效地补偿了空间未对齐，并利用逐步对齐的参考模态提供模态间先验，以改善目标模态的重建。在三个真实数据集上的综合实验表明，与最先进的方法相比，我们的方法表现出优越的重建性能。
引用
@article{arxiv.2312.16998,
title = {Deep Unfolding Network with Spatial Alignment for multi-modal MRI reconstruction},
author = {Hao Zhang and Qi Wang and Jun Shi and Shihui Ying and Zhijie Wen},
journal= {arXiv preprint arXiv:2312.16998},
year = {2025}
}