面向全心脏评估及其扩展的心脏 MRI 基础模型:综合视觉-表格表征
图像与视频处理
2025-09-04 v4 人工智能
计算机视觉与模式识别
摘要
心脏磁共振成像是无创心脏评估的金标准,能够提供心脏解剖和生理的丰富时空视图。患者水平的健康因素,如人口学特征、代谢及生活方式,已知可显著影响心血管健康和疾病风险,但目前的 CMR 无法捕获这些因素。为了全面理解心脏健康,并为个体疾病风险提供最佳解释,必须在统一框架内联合利用 CMR 数据和患者水平因素。近期的多模态方法已开始弥合这一鸿沟,但它们往往依赖有限的时空数据,仅聚焦于特定临床任务,从而阻碍了心脏健康评估的综合表征的发展。为克服这些限制,我们引入了 ViTa—a步向基础模型的方向,提供心脏的综合表征与个体疾病风险的精准解释。该方法整合了来自 42,000 名 UK Biobank 参与者的数据,将来轴和长轴视图的 3D+T 连续胸片堆叠相结合,实现对完整心脏周期的完整捕获。这些影像数据随后被融合到详细的表格患者水平因素中,以实现情境感知的洞见。这种多模态范式支持广泛的下游任务,包括心脏表型和生理特征预测、分割以及心脏和代谢疾病的分类,所有这些都在一个统一的框架内。通过学习连接丰富影像特征与患者情境的共享潜在表征,ViTa 超越了传统的、特定于任务的模型,朝着通用、患者特定的心脏健康理解方向发展,凸显了其在心脏分析中提升临床实用性和可扩展性的潜力。
引用
@article{arxiv.2504.13037,
title = {Towards Cardiac MRI Foundation Models: Comprehensive Visual-Tabular Representations for Whole-Heart Assessment and Beyond},
author = {Yundi Zhang and Paul Hager and Che Liu and Suprosanna Shit and Chen Chen and Daniel Rueckert and Jiazhen Pan},
journal= {arXiv preprint arXiv:2504.13037},
year = {2025}
}