评估 GPT 在从电子健康记录中识别认知功能障碍阶段方面的能力
机器学习
2025-02-17 v1 人工智能
计算与语言
摘要
从电子健康记录（EHR）中识别认知功能障碍不仅对于及时诊断至关重要，也有助于促进科研工作。关于认知功能障碍的信息常常存在于 EHR 中的非结构化临床笔记中，但手动审阅病历文件既耗时又容易出错。为此，我们的研究评估了使用零样本 GPT-4o 自动确定认知功能障碍阶段的能力，用于两个不同任务。首先，我们评估了 GPT-4o 在来自马萨诸塞 General Hospital（MGH）记忆诊所访问 769 名患者的专家笔记中确定全局临床认知评估（CDR）的能力，达到加权 Kappa 分数 0.83。其次，我们评估了 GPT-4o 在 860 名 Medicare 患者 3 年窗口内的所有笔记中区分正常认知、轻度认知障碍（MCI）和痴呆的能力。GPT-4o 相对于专家病历审查的加权 Kappa 分数为 0.91，对临床裁定者高置信度案例的评分达到 0.96。我们的发现表明，GPT-4o 作为可扩展的病历审阅工具，未来有潜力用于创建研究数据集并辅助临床环境中的诊断工作。
引用
@article{arxiv.2502.09715,
title = {Evaluating GPT's Capability in Identifying Stages of Cognitive Impairment from Electronic Health Data},
author = {Yu Leng and Yingnan He and Colin Magdamo and Ana-Maria Vranceanu and Christine S. Ritchie and Shibani S. Mukerji and Lidia M. V. R. Moura and John R. Dickson and Deborah Blacker and Sudeshna Das},
journal= {arXiv preprint arXiv:2502.09715},
year = {2025}
}
备注
Findings paper presented at Machine Learning for Health (ML4H) symposium 2024, December 15-16, 2024, Vancouver, Canada, 7 pages