基于对比跨模态学习的肺部 X 光片知识注入心电图
机器学习
2025-06-25 v1
摘要
现代诊断工作流程日益多模态，整合了来自医学影像、结构化记录和生理时间序列等多样数据源。其中，心电图（ECG）和胸部 X 光片（CXR）是心血管评估中两种最常用的数据模态。虽然 CXR 提供丰富的诊断信息，但 ECG 更易获取，可支持可扩展的早期警示系统。本文提出了 CroMoTEX，一种新颖的基于对比学习的框架，利用胸部 X 光片在训练过程中为多个心血管相关疾病（肺大疱管扩张、胸膜积液和水肿）学习临床有意义的心电图表征。该方法通过一种带有自适应硬负样本加权的新型监督式跨模态对比目标来对齐 ECG 和 CXR 表征，实现稳健且任务相关的特征学习。在测试阶段，CroMoTEX仅依赖于 ECG 输入，允许在 CXR 不可获得的实际场景中进行可扩展部署。我们在大型 MIMIC-IV-ECG 和 MIMIC-CXR 数据集上进行评估，CroMoTEX 在所有三种疾病上均优于基线方法，在水肿方面最高可达 78.31 的 AUROC。我们的代码已公开于 github.com/vineetpmoorty/cromotex。
引用
@article{arxiv.2506.19329,
title = {Contrastive Cross-Modal Learning for Infusing Chest X-ray Knowledge into ECGs},
author = {Vineet Punyamoorty and Aditya Malusare and Vaneet Aggarwal},
journal= {arXiv preprint arXiv:2506.19329},
year = {2025}
}