DRG-LLaMA：微调 LLaMA 模型以预测住院患者的诊断相关分组
人工智能
2023-10-02 v2 计算与语言
摘要
在美国住院支付系统中，诊断相关分组（DRG）至关重要，但其分配过程效率低下。本研究介绍了 DRG-LLaMA，一种在临床记录上微调的高级大语言模型（LLM），用于改进 DRG 分配。我们以 LLaMA 为基础模型，并在 236,192 份 MIMIC-IV 出院小结上通过低秩自适应（LoRA）进行优化，我们的 DRG-LLaMA-7B 模型表现出显著的宏平均 F1 分数 0.327、top-1 预测准确率 52.0%，以及宏平均曲线下面积（AUC）0.986，最大输入 token 长度为 512。该模型超越了先前领先的 DRG 预测模型，与 ClinicalBERT 和 CAML 相比，宏平均 F1 分数分别相对提升了 40.3% 和 35.7%。应用于基础 DRG 以及并发症或合并症（CC）/主要并发症或合并症（MCC）预测时，DRG-LLaMA 的 top-1 预测准确率分别达到 67.8% 和 67.5%。此外，我们的研究结果表明，DRG-LLaMA 的性能与模型参数和输入上下文长度的增加相关。
引用
@article{arxiv.2309.12625,
title = {DRG-LLaMA : Tuning LLaMA Model to Predict Diagnosis-related Group for Hospitalized Patients},
author = {Hanyin Wang and Chufan Gao and Christopher Dantona and Bryan Hull and Jimeng Sun},
journal= {arXiv preprint arXiv:2309.12625},
year = {2023}
}