基于病例报告的 ChatGPT 辅助神经眼科疾病诊断
计算机与社会
2023-09-25 v1 人工智能
计算与语言
摘要
目的：评估诸如 ChatGPT 之类的大语言模型(LLMs)基于详细病例描述辅助诊断神经眼科疾病的效率。方法：我们从公开可用的在线数据库中选取了 22 份不同的神经眼科疾病病例报告。这些病例涵盖了神经眼科亚专科医生常见的广泛慢性和急性疾病。我们将每份病例的文本作为新提示分别输入 ChatGPT v3.5 和 ChatGPT Plus v4.0，并询问最可能的诊断。随后我们将确切信息呈现给两名神经眼科医生，记录其诊断并与两个版本 ChatGPT 的回答进行比较。结果：ChatGPT v3.5、ChatGPT Plus v4.0 以及两名神经眼科医生在 22 个病例中分别答对 13 (59%)、18 (82%)、19 (86%) 和 19 (86%) 例。各诊断来源间的一致度如下：ChatGPT v3.5 与 ChatGPT Plus v4.0 为 13 (59%)；ChatGPT v3.5 与第一名神经眼科医生为 12 (55%)；ChatGPT v3.5 与第二名神经眼科医生为 12 (55%)；ChatGPT Plus v4.0 与第一名神经眼科医生为 17 (77%)；ChatGPT Plus v4.0 与第二名神经眼科医生为 16 (73%)；第一名与第二名神经眼科医生为 17 (77%)。结论：ChatGPT v3.5 和 ChatGPT Plus v4.0 诊断神经眼科疾病患者的准确率分别为 59% 和 82%。随着进一步发展，ChatGPT Plus v4.0 有可能用于临床照护环境，辅助临床医生对神经眼科患者提供快速、准确的诊断。在缺乏亚专科受训神经眼科医生的临床环境中使用像 ChatGPT 这样的 LLM 的适用性值得进一步研究。
引用
@article{arxiv.2309.12361,
title = {ChatGPT Assisting Diagnosis of Neuro-ophthalmology Diseases Based on Case Reports},
author = {Yeganeh Madadi and Mohammad Delsoz and Priscilla A. Lao and Joseph W. Fong and TJ Hollingsworth and Malik Y. Kahook and Siamak Yousefi},
journal= {arXiv preprint arXiv:2309.12361},
year = {2023}
}