基于心脏MRI和ECG的全局和局部对比学习用于联合表征
图像与视频处理
2025-06-27 v1 人工智能
计算机视觉与模式识别
信号处理
摘要
心电图（ECG）是一种广泛使用的、成本效益高的工具，用于检测心脏的电性异常。然而，它无法直接测量功能参数，如心室容积和收缩功能，这些参数对于评估心脏功能至关重要。心脏磁共振（CMR）是这些测量的金标准，提供详细的结构和功能信息，但昂贵且可及性较差。为填补这一差距，我们提出了 PTACL（Patient and Temporal Alignment Contrastive Learning），一种多模态对比学习框架，通过整合来自 CMR 的时空信息来增强 ECG 表征。PTACL 使用全局患者级对比损失和局部时间级对比损失。全局损失通过将来自同一患者的 ECG 和 CMR 嵌入拉近，同时将来自不同患者的嵌入推远；局部损失通过对比编码的 ECG 片段与对应的编码 CMR 帧来强制在每个患者内进行细粒度的时间对齐。该方法丰富了 ECG 表征，纳入了电活动之外的诊断信息，并且比仅进行全局对齐的方式，在不引入新学习权重的情况下，在模态之间传递更多见解。我们在 UK Biobank 来自 27,951 名受试者的配对 ECG-CMR 数据上评估了 PTACL。与基线方法相比，PTACL 在两个临床相关任务上取得更好性能：（1）检索相似心脏表型的患者；（2）预测来自 CMR 的心脏功能参数，如心室容积和射血分数。我们的结果凸显了 PTACL 在不使用 ECG 时提升心脏诊断潜力。代码已公开：https://github.com/alsalivan/ecgcmr
引用
@article{arxiv.2506.20683,
title = {Global and Local Contrastive Learning for Joint Representations from Cardiac MRI and ECG},
author = {Alexander Selivanov and Philip Müller and Özgün Turgut and Nil Stolt-Ansó and Daniel Rückert},
journal= {arXiv preprint arXiv:2506.20683},
year = {2025}
}
备注
accepted to MICCAI 2025 (Springer LNCS)