天然域基础模型是否适用于加速心脏 MRI 重建？
图像与视频处理
2026-04-27 v1 计算机视觉与模式识别
机器学习
摘要
大规模预训练基础模型的出现已彻底变革了计算机视觉，使其在多样化的下游任务中实现卓越性能。然而，这些模型在基于物理的逆问题（如加速心脏 MRI 重建）中的潜力仍 largely 未被探索。在本工作中，我们研究了自然域基础模型是否可作为加速心脏 MRI 重建有效图像先验， 并将其性能与基于领域的模型（如 BiomedCLIP）进行比较。我们提出了一种展开的重建框架，将预训练的、冻结的视觉编码器（如 CLIP、DINOv2 和 BiomedCLIP）整合到每个级联中，以引导重建过程。通过大量实验，我们表明虽然任务特定的 SOTA 重建模型（如 E2E-VarNet）在标准的 in-分布设置下实现优异性能，但基于基础模型的方法仍保持竞争力。更重要的是，在具有挑战性的跨域场景中，其中中的模型是在心脏 MRI 上训练的，而是在解剖学上具有不同特征的膝部和脑部数据集上评估的——基础模型在高加速度因素和有限低频采样下表现出更好的鲁棒性。我们进一步观察到，自然图像预训练模型（如 CLIP）学习到的结构表示高度可迁移，而基于领域的预训练（BiomedCLIP）在更不严格的情形下提供有限的额外提升。总体而言，我们的结果表明，预训练的基础模型提供了一个有前景的可迁移先验来源，使加速 MRI 重建获得改进的鲁棒性和泛化能力。
引用
@article{arxiv.2604.22557,
title = {Are Natural-Domain Foundation Models Effective for Accelerated Cardiac MRI Reconstruction?},
author = {Anam Hashmi and Mayug Maniparambil and Julia Dietlmeier and Kathleen M. Curran and Noel E. O'Connor},
journal= {arXiv preprint arXiv:2604.22557},
year = {2026}
}
备注
Accepted to CVPRW 2026