通过稀疏二维心脏磁共振图像进行全心 3D+T 表示学习
图像与视频处理
2025-07-03 v2 计算机视觉与模式识别
机器学习
摘要
心脏磁共振 (CMR) 成像是评估心脏形态和功能的金标准。通常，为了进行全面的心脏评估，需要采集覆盖短轴 (SA) 和 2/3/4 腔长轴 (LA) 视图的多视角 CMR 堆栈。然而，高效地简化复杂、高维的 3D+T CMR 数据并提取紧凑、连贯的表示仍然是一个挑战。在这项工作中，我们引入了一个全心自监督学习框架，该框架利用掩码成像建模自动发现整个心脏堆栈中空间和时间补丁之间的相关性。这个过程促进了有意义且良好聚类的心脏表示的生成，而无需依赖传统上需要的、通常成本高昂的标记数据。学习到的心脏表示可以直接用于各种下游任务。此外，我们的方法表现出显著的鲁棒性，即使某些 CMR 平面缺失/有缺陷，也能确保一致的表示。我们在来自 UK BioBank 的 14,000 个未标记 CMR 数据上训练模型，并在 1,000 个标记数据上进行评估。所提出的方法在需要全面 3D+T 心脏信息的任务中表现出优于基线的性能，例如心脏表型（射血分数和心室容积）预测以及多平面/多帧 CMR 分割，突显了其在提取既与解剖学相关又与病理学相关的全面心脏特征方面的有效性。
引用
@article{arxiv.2406.00329,
title = {Whole Heart 3D+T Representation Learning Through Sparse 2D Cardiac MR Images},
author = {Yundi Zhang and Chen Chen and Suprosanna Shit and Sophie Starck and Daniel Rueckert and Jiazhen Pan},
journal= {arXiv preprint arXiv:2406.00329},
year = {2025}
}