基于心电图与临床报告多模态学习的自动化心血管病历检索
信号处理
2023-11-07 v3 计算机视觉与模式识别
摘要
随着机器学习方法的进展，心电图（ECG）的自动解读已引起广泛关注。尽管兴趣渐增，当前多数研究仅关注分类或回归任务，忽视了临床心脏疾病诊断中的关键一环：由经验丰富的人类临床医生所出具的诊断报告。本文引入一种新颖的ECG解读方法，利用大语言模型（LLM）与视觉Transformer（ViT）模型的最新突破。我们不再将ECG诊断视为分类或回归任务，而是提出一种基于输入ECG数据自动识别最相似临床病例的替代方法。此外，由于将ECG作为图像解读更具经济性与可及性，我们将ECG处理为编码图像，并采用视觉-语言学习范式联合学习编码ECG图像与ECG诊断报告之间的视觉-语言对齐。将ECG编码为图像可形成高效的ECG检索系统，在临床应用中极具实用价值。更重要的是，我们的发现可作为欠发达地区提供诊断服务的关键资源。
引用
@article{arxiv.2304.06286,
title = {Automated Cardiovascular Record Retrieval by Multimodal Learning between Electrocardiogram and Clinical Report},
author = {Jielin Qiu and Jiacheng Zhu and Shiqi Liu and William Han and Jingqi Zhang and Chaojing Duan and Michael Rosenberg and Emerson Liu and Douglas Weber and Ding Zhao},
journal= {arXiv preprint arXiv:2304.06286},
year = {2023}
}
备注
Accepted to the ML4H 2023 Proceedings track