医学预测的大语言模型——Foresight 2
计算与语言
2024-12-17 v1 人工智能
机器学习
摘要
Foresight 2（FS2）是一个在医院数据上微调的大语言模型，用于建模患者时间线（GitHub 'removed for anon'）。它可以理解患者的临床记录并预测广泛的医学用例的 SNOMED 编码，包括诊断建议、风险预测和程序和药物建议。FS2 在 MIMIC-III 数据集的自由文本部分上进行训练，首先通过提取医学概念，然后创建具有语境的患者时间线，在此基础上对模型进行微调。结果显示，在下一新医学概念预测（P/R - 0.73/0.66 vs 0.52/0.32）和下一新障碍预测（P/R - 0.69/0.62 vs 0.46/0.25）方面均显著优于先前的最先进成果。在风险预测任务上，我们将模型与 GPT-4-turbo（以及多种开源医学 LLM）进行比较，显示 FS2 在此类任务上性能显著更好（P@5 - 0.90 vs 0.65）。这凸显了将医院数据纳入 LLM 的必要性，并表明在针对高质量专业数据进行微调时，小型模型可优于更大的模型。
引用
@article{arxiv.2412.10848,
title = {Large Language Models for Medical Forecasting -- Foresight 2},
author = {Zeljko Kraljevic and Joshua Au Yeung and Daniel Bean and James Teo and Richard J. Dobson},
journal= {arXiv preprint arXiv:2412.10848},
year = {2024}
}