通过结合临床实践指南增强用于临床决策支持的大语言模型
计算与语言
2024-01-25 v2 人工智能
摘要
背景：结合临床实践指南（CPG）增强的大语言模型（LLM）可以显著改善临床决策支持（CDS）。然而，将 CPG 结合到 LLM 中的方法尚未得到充分研究。方法：我们开发了三种不同的方法将 CPG 结合到 LLM 中：二叉决策树（BDT）、程序辅助图构建（PAGC）和思维链少样本提示（CoT-FSP）。为了评估所提方法的有效性，我们创建了一组合成的患者描述，并对四个 LLM（GPT-4、GPT-3.5 Turbo、LLaMA 和 PaLM 2）生成的回复进行了自动和人工评估。零样本提示（ZSP）被用作基线方法。我们以 COVID-19 门诊治疗的 CDS 作为案例研究。结果：与基线 ZSP 相比，所有四个 LLM 在结合 CPG 后均表现出性能提升。在自动评估中，BDT 优于 CoT-FSP 和 PAGC。所有提出的方法在人工评估中均表现出高性能。结论：与使用 ZSP 的普通 LLM 相比，结合 CPG 增强的 LLM 在为 COVID-19 门诊治疗提供准确建议方面表现出卓越的性能，这也凸显了其在案例研究之外更广泛应用的潜力。
引用
@article{arxiv.2401.11120,
title = {Enhancing Large Language Models for Clinical Decision Support by Incorporating Clinical Practice Guidelines},
author = {David Oniani and Xizhi Wu and Shyam Visweswaran and Sumit Kapoor and Shravan Kooragayalu and Katelyn Polanska and Yanshan Wang},
journal= {arXiv preprint arXiv:2401.11120},
year = {2024}
}