评估大型语言模型理解表格电子健康记录的能力：针对患者数据提取与检索的全面研究
计算与语言
2025-01-17 v1 信息检索
摘要
电子健康记录（EHR）表格因包含隐藏的医学特征之间的上下文依赖关系、数据维度高和稀疏性等独特挑战而备受关注。本研究首次探讨了大型语言模型（LLM）理解 EHR 以进行患者数据提取和检索的能力。我们使用 MIMICSQL 数据集进行大量实验，探讨提示结构、指令、上下文和示例对两种基础 LLM（Llama2 和 Meditron）在任务性能上的影响。通过定性和定量分析，我们发现最佳特征选择和序列化方法可使任务性能相对于简单方法提升最高可达 26.79%。同样，具有相关示例选择的情境学习设置可提升数据提取性能 5.95%。基于我们的研究发现，我们提出了一套指南，我们相信这些指南将有助于设计支持健康搜索的 LLM 模型。
引用
@article{arxiv.2501.09384,
title = {Evaluating LLM Abilities to Understand Tabular Electronic Health Records: A Comprehensive Study of Patient Data Extraction and Retrieval},
author = {Jesus Lovon and Martin Mouysset and Jo Oleiwan and Jose G. Moreno and Christine Damase-Michel and Lynda Tamine},
journal= {arXiv preprint arXiv:2501.09384},
year = {2025}
}
备注
To be published as full paper in the Proceedings of the European Conference on Information Retrieval (ECIR) 2025. Preprint