GEM：赋能 MLLM 结合时间序列与图像进行基于定位的心电图理解
计算与语言
2025-10-21 v2 人工智能
计算机视觉与模式识别
摘要
尽管近期的多模态大语言模型（MLLM）推进了自动化心电图（ECG）解读，但它们仍面临两个关键局限：（1）时间序列信号与视觉 ECG 表示之间的多模态协同不足，以及（2）在将诊断与细粒度波形证据相关联方面的可解释性有限。我们引入了 GEM，这是首个统一 ECG 时间序列、12 导联 ECG 图像和文本的 MLLM，用于基于定位且与临床医生对齐的 ECG 解读。GEM 通过三项核心创新实现了特征定位分析、证据驱动推理以及类临床医生的诊断过程：一个提取互补时间序列和图像特征的双编码器框架，用于有效多模态理解的跨模态对齐，以及用于生成将诊断与可测量参数（例如，QRS/PR 间期）相关联的高粒度定位数据（ECG-Grounding）的知识引导指令生成。此外，我们提出了基于定位的 ECG 理解任务，这是一个具有临床动机的基准，旨在全面评估 MLLM 在基于定位的 ECG 理解方面的能力。在现有和我们提出的基准上的实验结果表明，GEM 显著提升了预测性能（CSN ）、可解释性（）和定位能力（），使其更适合现实世界的临床应用。GitHub 仓库：https://github.com/lanxiang1017/GEM.git
引用
@article{arxiv.2503.06073,
title = {GEM: Empowering MLLM for Grounded ECG Understanding with Time Series and Images},
author = {Xiang Lan and Feng Wu and Kai He and Qinghao Zhao and Shenda Hong and Mengling Feng},
journal= {arXiv preprint arXiv:2503.06073},
year = {2025}
}
备注
NeurIPS 2025 Camera-Ready