教多模态大语言模型理解心电图图像
综合物理
2026-01-08 v5
摘要
心电图（ECG）是评估心脏状况的essential non-invasive诊断工具。现有自动解释方法普遍受限于一般化能力，仅关注狭窄范围的心脏条件，通常依赖原始生理信号，而这些信号在资源有限的环境中可能难以获取，仅能获取打印或数字ECG图像。近期发展的多模态大语言模型（MLLM）为解决这些挑战提供了有前景的机会。然而，由于缺乏指令调优数据集和针对ECG图像的量化评估基准，MLLM应用于ECG图像解释仍面临挑战。为此，我们引入ECGInstruct，一个覆盖超百万样本的全面ECG图像指令调优数据集，涵盖来自多样数据来源的广泛ECG相关任务。使用ECGInstruct，我们开发了PULSE——一个专为ECG图像理解而设计的MLLM。此外，我们精选了ECGBench，一个覆盖九个不同数据集中四个关键ECG图像解释任务的新评估基准。我们的实验表明，PULSE取得了新的状态最佳成绩，平均准确率提高了15%至30%。本工作凸显了PULSE在临床实践中增强ECG解释的潜力。
引用
@article{arxiv.2410.19007,
title = {MOND as a transformation between non-inertial reference frames via Sciama's interpretation of Mach's Principle},
author = {Manuel Uruena Palomo},
journal= {arXiv preprint arXiv:2410.19007},
year = {2026}
}
备注
14 pages, published version in International Journal of Theoretical Physics, v2 corrected typos, v3 minor corrections, v4 comments from Mordehai Milgrom