面向专家级临床笔记生成的开源大语言模型适配探索
计算与语言
2025-05-28 v6 人工智能
机器学习
摘要
如GPT-4和Gemini等专有大语言模型（LLM）在临床文本摘要任务中展现出了令人瞩目的能力。然而，出于对患者数据隐私和计算成本的考虑，许多医疗保健提供者更倾向于使用小型的、本地托管的模型，而非外部的通用LLM。本研究提出了一种针对开源LLaMA-2 130亿参数模型的全面的领域与任务特定适配流程，使其能够根据门诊医患对话生成高质量的临床笔记。我们的流程结合了持续预训练、监督微调以及基于AI和人类反馈的强化学习。我们引入了一种新方法DistillDirect，以Gemini 1.0 Pro作为教师模型来执行同策略强化学习。我们得到的模型LLaMA-Clinic能够生成质量与医生所撰写笔记相媲美的临床笔记。在一项医生参与的盲读研究中，大多数（92.8%）的个体评估在现实可用性、完整性和准确性这三个标准上，将LLaMA-Clinic生成的笔记评为“可接受”或更高等级。在更具挑战性的“评估与计划”部分，LLaMA-Clinic在现实可用性得分上与医生撰写的笔记相当。我们强调了未来临床笔记生成任务的关键考量，指出预先定义“最佳实践”笔记格式的重要性，而非依赖LLM在临床实践中自行决定该格式。
引用
@article{arxiv.2405.00715,
title = {Towards Adapting Open-Source Large Language Models for Expert-Level Clinical Note Generation},
author = {Hanyin Wang and Chufan Gao and Bolun Liu and Qiping Xu and Guleid Hussein and Mohamad El Labban and Kingsley Iheasirim and Hariprasad Korsapati and Chuck Outcalt and Jimeng Sun},
journal= {arXiv preprint arXiv:2405.00715},
year = {2025}
}