ECG-Chat: 用于心脏疾病诊断的大型ECG-语言模型
信号处理
2025-04-17 v2
摘要
多模态大型语言模型（MLLM）在医学辅助领域的成功展示了巨大潜力，使患者能够利用生理信号数据进行对话。然而，通用MLLM在心脏疾病诊断方面表现不佳，特别是在ECG数据分析与医学报告生成的整合方面，主要由于ECG数据分析的复杂性以及文本与ECG信号模态之间的差距。为解决这些问题，我们提出了ECG-Chat，一个专注于ECG医学报告生成的多任务MLLM，基于心脏病学知识提供多模态对话能力。我们提出了一种对比学习方法，将ECG波形数据与文本报告进行整合，在细粒度上对齐ECG特征与报告。该方法还产生了一个在零样本报告检索任务中表现出色的ECG编码器。此外，通过扩展现有数据集，我们构建了一个19k ECG诊断数据集和一个25k多轮对话数据集，用于训练和微调ECG-Chat，从而提供专业的诊断和对话能力。此外，ECG-Chat可以通过自动LaTeX生成管道生成全面的ECG分析报告。我们为ECG报告生成任务建立了基准，并在多个基线模型上测试了我们的模型。ECG-Chat在分类、检索和医学报告生成任务上取得了最佳性能。我们的代码可在https://github.com/YubaoZhao/ECG-Chat获取。
引用
@article{arxiv.2408.08849,
title = {ECG-Chat: A Large ECG-Language Model for Cardiac Disease Diagnosis},
author = {Yubao Zhao and Jiaju Kang and Tian Zhang and Puyu Han and Tong Chen},
journal= {arXiv preprint arXiv:2408.08849},
year = {2025}
}
备注
Accepted by 2025 IEEE International Conference on Multimedia and Expo (ICME)