面向心理健康急诊复诊的可解释 AI:将 LLMs 与预测建模相结合
机器学习
2025-07-08 v4 人工智能
计算机与社会
摘要
重要性:因心理健康状况导致的急诊科复诊构成了重大的医疗负担,24-27% 的患者会在 30 天内复诊。用于预测这些复诊的传统机器学习模型通常缺乏临床应用所需的可解释性。目标:评估将大语言模型(LLMs)与机器学习相结合是否能提高急诊科心理健康复诊风险模型的预测准确性和临床可解释性。方法:这项回顾性队列研究分析了美国深南部一家学术医疗中心从 2018 年 1 月至 2022 年 12 月期间 27,904 名独特心理健康患者的 42,464 次急诊就诊记录。主要结果与测量指标:评估了两个主要结果:(1)30 天急诊复诊预测准确性,以及(2)使用一个新颖的 LLM 增强框架(该框架将 SHAP 值与临床知识相结合)的模型可解释性。结果:在主诉分类方面,采用 10-shot 学习的 LLaMA 3 (8B) 模型优于传统模型(准确率:0.882,F1 分数:0.86)。在健康社会决定因素分类中,基于 LLM 的模型达到了 0.95 的准确率和 0.96 的 F1 分数,其中酒精、烟草和物质滥用表现最佳(F1:0.96-0.89),而锻炼和居家环境表现较差(F1:0.70-0.67)。基于 LLM 的可解释性框架在将模型预测转化为临床相关解释方面达到了 99% 的准确率。LLM 提取的特征将 XGBoost 的 AUC 从 0.74 提升至 0.76,将 AUC-PR 从 0.58 提升至 0.61。结论与相关性:将 LLMs 与机器学习模型相结合,在显著增强可解释性(通过自动化的、临床相关的解释)的同时,带来了适度但一致的准确性提升。这种方法为将预测分析转化为可操作的临床见解提供了一个框架。
引用
@article{arxiv.2502.00025,
title = {Explainable AI for Mental Health Emergency Returns: Integrating LLMs with Predictive Modeling},
author = {Abdulaziz Ahmed and Mohammad Saleem and Mohammed Alzeen and Badari Birur and Rachel E Fargason and Bradley G Burk and Ahmed Alhassan and Mohammed Ali Al-Garadi},
journal= {arXiv preprint arXiv:2502.00025},
year = {2025}
}