基于大型语言模型的临床记录病史回顾实体识别管道
摘要
目的：开发一种基于大型语言模型（LLM）的低成本管道，用于自动从临床记录中提取病史回顾（Review of Systems, ROS）实体。材料与方法：该管道采用SecTag标题术语从临床记录中提取ROS章节，随后利用少样本LLM识别ROS实体（如疾病或症状）、其阳性/阴性状态以及关联身体部位。我们采用4个开源LLM模型实现该管道：llama3.1:8b、gemma3:27b、mistral3.1:24b和gpt-oss:20b。此外，我们引入了一种新型归因算法，用于将LLM识别的ROS实体与其来源文本对齐，解决非精确匹配和同义匹配问题。评估在24份一般内科病历中进行，包含340个已标注的ROS实体。结果：开源LLM实现了本地低成本管道，同时取得有希望的性能。较大的模型如Gemma、Mistral和Gpt-oss在管道的三个实体识别任务中表现稳健：ROS实体提取、否定检测和身体系统分类（最高F1分数=0.952）。在归因算法的作用下，所有模型在关键性能指标上均有所提升，包括更高的F1分数和准确率，以及更低的错误率。值得注意的是，规模较小的Llama模型尽管仅使用了更大模型三分之一的显存，仍取得了有希望的成果。讨论与结论：从应用角度看，我们的管道提供了一种可扩展、可本地部署的解决方案，以减轻ROS文档负担。开源LLM为资源受限的医疗环境提供了实用的AI选项。方法论上，我们新开发的算法促进了零样本和少样本LLM在命名实体识别中的准确率提升。
引用
@article{arxiv.2506.11067,
title = {A Large Language Model Based Pipeline for Review of Systems Entity Recognition from Clinical Notes},
author = {Hieu Nghiem and Zhuqi Miao and Hemanth Reddy Singareddy and Jivan Lamichhane and Abdulaziz Ahmed and Johnson Thomas and Dursun Delen and William Paiva},
journal= {arXiv preprint arXiv:2506.11067},
year = {2026}
}
备注
Accepted by IEEE EMBC 2026. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works