大型语言模型利用临床笔记预测术后风险的基础能力
计算与语言
2025-04-03 v5
摘要
患者在围手术期过程中记录的临床笔记具有巨大的信息价值。大型语言模型 (LLM) 的进步为弥合这一差距提供了机会。利用 2018 年至 2021 年间 84,875 份术前笔记及其相关手术案例，我们考察了 LLM 在各种微调策略下预测六种术后风险的性能。预训练 LLM 的表现优于传统词嵌入，其 AUROC 和 AUPRC 分别绝对提升了 38.3% 和 33.2%。自监督微调进一步将性能提高了 3.2% 和 1.5%。在训练中纳入标签使 AUROC 和 AUPRC 分别额外增加了 1.8% 和 2%。最高性能由统一基础模型实现，与自监督相比，其 AUROC 和 AUPRC 分别提升了 3.6% 和 2.6%，突显了 LLM 在预测术后风险方面的基础能力，这在部署于围手术期护理时可能具有潜在益处。
引用
@article{arxiv.2402.17493,
title = {The Foundational Capabilities of Large Language Models in Predicting Postoperative Risks Using Clinical Notes},
author = {Charles Alba and Bing Xue and Joanna Abraham and Thomas Kannampallil and Chenyang Lu},
journal= {arXiv preprint arXiv:2402.17493},
year = {2025}
}
备注
Codes are publicly available at: https://github.com/cja5553/LLMs_in_perioperative_care