基于新型大型语言模型的临床决策支持系统的开发与测试：涵盖12个临床专科的用药安全
计算与语言
2024-02-20 v2 人工智能
摘要
重要性：我们引入了一种新颖的检索增强生成（RAG）-大型语言模型（LLM）框架作为临床决策支持系统（CDSS），以支持安全用药处方。目的：评估基于LLM的CDSS在不同内外科亚专科的患者案例小插曲中正确识别用药错误的效果，并与人类专家小组得出的真实情况进行比较。我们比较了两种不同的CDSS实际医疗整合模式下的性能：仅基于LLM的CDSS（全自主模式）与初级药师+基于LLM的CDSS（副驾驶、辅助模式）。设计、设置和参与者：利用具有最先进医学相关LLM（GPT-4、Gemini Pro 1.0和Med-PaLM 2）的RAG模型，本研究使用了嵌入到23个复杂临床小插曲中的61个处方错误场景，涵盖12个不同的内外科专科。一个多学科专家小组使用PCNE分类评估这些案例的药物相关问题（DRP），并使用修订后的NCC MERP用药错误指数对严重程度/潜在伤害进行分级。结果：RAG-LLM比单独使用LLM表现更好。当以副驾驶模式使用时，准确率、召回率和F1分数得到优化，表明在识别中度至重度DRP方面有效。RAG-LLM在多个类别中的DRP检测准确率有所提高，但以降低精确度为代价。结论：本研究证实，基于RAG-LLM的CDSS在与初级药师（副驾驶）一起使用时，显著提高了用药错误识别的准确性，在检测严重DRP方面有显著改善。本研究还阐明了当前最先进LLM在基于RAG的CDSS系统中的比较性能。
引用
@article{arxiv.2402.01741,
title = {Development and Testing of a Novel Large Language Model-Based Clinical Decision Support Systems for Medication Safety in 12 Clinical Specialties},
author = {Jasmine Chiat Ling Ong and Liyuan Jin and Kabilan Elangovan and Gilbert Yong San Lim and Daniel Yan Zheng Lim and Gerald Gui Ren Sng and Yuhe Ke and Joshua Yi Min Tung and Ryan Jian Zhong and Christopher Ming Yao Koh and Keane Zhi Hao Lee and Xiang Chen and Jack Kian Chng and Aung Than and Ken Junyang Goh and Daniel Shu Wei Ting},
journal= {arXiv preprint arXiv:2402.01741},
year = {2024}
}