基于参数高效LoRA微调的多模态LLaMA 3.2高精度心电图图像解释
计算机视觉与模式识别
2025-02-03 v1 人工智能
摘要
心电图（ECG）解释是心脏诊断的核心环节。本文探讨了一种实用方法，通过参数高效LoRA微调策略来增强心电图图像解释能力，旨在提升跨多种心脏疾病的整体表现。该方法专为心电图分析设计，利用包含100万样本的大规模指令数据集ECGInstruct。该数据集汇集了来自MIMIC-IV ECG和PTB-XL等可信开源存储库的原始心电数据生成的综合心电图像，每张图像配有专家编写的问答对，涵盖包括心肌梗死和传导紊乱等复杂心脏疾病的多样化解释场景。我们的微调方法通过集成低秩适应技术，对基于LLaMA 3的LLaMA 3.2模型进行高效适配，仅更新少量参数（ Specifically 忽略`lm_head`和`embed_tokens`层）。本文详细阐述了模型配置、高效微调方法及实现细节。通过大量实验进行全面评估，证明了该方法在各种心电图解释任务中的有效性。结果明确表明，参数高效LoRA微调在心电图图像解释方面取得卓越成绩，显著超越基线模型，在识别PTB-XL数据集中超过70种心脏异常状况时，准确率甚至可与或超过传统基于卷积神经网络的方法。
引用
@article{arxiv.2501.18670,
title = {High-Accuracy ECG Image Interpretation using Parameter-Efficient LoRA Fine-Tuning with Multimodal LLaMA 3.2},
author = {Nandakishor M and Anjali M},
journal= {arXiv preprint arXiv:2501.18670},
year = {2025}
}