EchoQA：用于超声心动图报告的大规模指令微调数据集
人工智能
2025-03-07 v2 计算与语言
摘要
我们引入了一个新颖的问答（QA）数据集，其数据源自重症监护医学信息市场数据库的超声心动图报告。该数据集专为增强心脏病学领域的问答系统而设计，包含 771,244 个问答对，涵盖了广泛的心脏异常及其严重程度。我们比较了多种大语言模型（LLM），包括用于零样本评估的开源模型和生物医学专用模型，以及用于零样本和三样本评估的闭源模型。结果表明，微调 LLM 在各项问答指标上均提升了性能，验证了本数据集的价值。临床医生还对表现最佳的模型进行了定性评估，以检验 LLM 回答的正确性。此外，我们进行了细粒度的公平性审计，以评估 LLM 在各种健康社会决定因素上的偏见与性能权衡。我们的目标是通过为支持临床医生进行心脏鉴别诊断的 LLM AI 智能体建立基准，来推动该领域的发展，从而减轻导致临床医生倦怠的文档负担，使医疗专业人员能更专注于患者护理。
引用
@article{arxiv.2503.02365,
title = {EchoQA: A Large Collection of Instruction Tuning Data for Echocardiogram Reports},
author = {Lama Moukheiber and Mira Moukheiber and Dana Moukheiiber and Jae-Woo Ju and Hyung-Chul Lee},
journal= {arXiv preprint arXiv:2503.02365},
year = {2025}
}
备注
NeurIPS SafeGenAI 2024