ECG语义集成器（ESI）：一种使用大语言模型增强的心内科文本预训练的基础心电图模型
信号处理
2024-10-25 v2 人工智能
摘要
深度学习在心电图分析中的应用带来了心脏医疗诊断的先进准确性和效率。通过利用深度学习在语义理解方面的能力，特别是在特征提取和表示学习方面，本研究引入了一种新的多模态对比预训练框架，旨在提高12导联心电图信号学习表示的质量和鲁棒性。我们的框架包括两个关键组件：心内科查询助手和心电图语义集成器。心内科查询助手集成了检索增强生成流水线，利用大语言模型和外部医学知识生成心电图的详细文本描述。生成的文本富含人口统计信息和波形模式信息。心电图语义集成器结合了对比损失和描述损失来预训练心电图编码器以获得增强的表示。我们通过各种下游任务验证了我们的方法，包括心律失常检测和基于心电图的受试者识别。我们的实验结果表明，在这些任务中，与强基线相比有显著改进。这些基线包括监督和自监督学习方法，以及先前的多模态预训练方法。
引用
@article{arxiv.2405.19366,
title = {ECG Semantic Integrator (ESI): A Foundation ECG Model Pretrained with LLM-Enhanced Cardiological Text},
author = {Han Yu and Peikun Guo and Akane Sano},
journal= {arXiv preprint arXiv:2405.19366},
year = {2024}
}