利用LLM从电子健康记录中检索证据：可能性与挑战
计算与语言
2024-06-12 v3
摘要
电子健康记录（EHRs）中的非结构化数据常包含关键信息——作为影像的补充——可辅助放射科医生的诊断。但患者通常伴随的大量笔记加之时间限制，使人工识别相关证据在实践中不可行。本工作中，我们提出并评估了一种零样本策略，将LLM用作高效检索并总结患者EHR中与给定查询相关的非结构化证据的机制。我们的方法要求LLM基于相关笔记推断患者是否患有或面临某特定病症风险；若是，则要求模型总结支持证据。在专家评估下，我们发现该基于LLM的方法输出持续优于预LLM的信息检索基线。人工评估成本高昂，故我们亦提出并验证了一种利用LLM评估（其他）LLM输出的方法，以扩展评估规模。我们的发现表明了LLM作为EHR接口的前景，但也凸显了“幻觉”带来的突出挑战。然而在此场景下，我们展示模型对输出的置信度与忠实摘要强相关，提供了限制虚构的实用手段。
引用
@article{arxiv.2309.04550,
title = {Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges},
author = {Hiba Ahsan and Denis Jered McInerney and Jisoo Kim and Christopher Potter and Geoffrey Young and Silvio Amir and Byron C. Wallace},
journal= {arXiv preprint arXiv:2309.04550},
year = {2024}
}