MedSlice：用于安全临床笔记切分的精调大语言模型
计算与语言
2025-01-27 v1 人工智能
信息检索
机器学习
摘要
从临床笔记中提取章节对下游分析至关重要，但由于格式多样性和手动切分的工作量大，该任务仍具挑战性。虽然专有大语言模型（LLM）在该任务上显示出前景，但隐私顾虑限制了其可访问性。本研究开发了一个针对开源LLM的自动化笔记切分管道，聚焦三个章节：目前病史、间歇病史及评估与计划。我们对三个开源LLM进行精调，使用487份病程笔记构建的精选数据集进行章节提取，并与专有模型（GPT-4o、GPT-4o mini）进行比较。通过精确率、召回率和F1分数评估了内部效度和外部效度。精调的Llama 3.1 8B模型在F1=0.92的表现优于GPT-4o。在外部效度测试集上，性能仍然保持良好（F1=0.85）。精调的开源LLM在临床笔记切分任务中可超越专有模型，提供了成本、性能和可访问性方面的优势。
引用
@article{arxiv.2501.14105,
title = {MedSlice: Fine-Tuned Large Language Models for Secure Clinical Note Sectioning},
author = {Joshua Davis and Thomas Sounack and Kate Sciacca and Jessie M Brain and Brigitte N Durieux and Nicole D Agaronnik and Charlotta Lindvall},
journal= {arXiv preprint arXiv:2501.14105},
year = {2025}
}
备注
Our code is publicly available on github ( https://github.com/lindvalllab/MedSlice )