ChatGPT 与验后概率
人工智能
2024-07-23 v5 应用统计
摘要
基于强化学习的大语言模型，如 ChatGPT，被认为有潜力在许多领域辅助人类专家，包括医疗健康。然而，关于 ChatGPT 执行医疗中一项关键任务的能力——形式化、概率性的医学诊断推理——的研究很少。此类推理被用于例如将验前概率更新为验后概率。本工作中，我们探查 ChatGPT 执行该任务的能力。具体而言，我们让 ChatGPT 给出如何使用贝叶斯规则进行医学诊断的示例。我们的提示从使用纯概率术语的查询（例如，请求给定 B 与 C 下 A 的后验）到使用医学诊断术语的查询（例如，请求给定检测结果与咳嗽下 Covid 的后验概率）。我们展示了医学变量名的引入导致 ChatGPT 所犯错误的数量增加。鉴于我们的结果，我们也展示如何利用提示工程促使 ChatGPT 部分避免这些错误。我们结合近期关于灵敏度与特异度的评论讨论我们的结果。我们也讨论我们的结果如何启示大语言模型的新研究方向。
引用
@article{arxiv.2311.12188,
title = {ChatGPT and post-test probability},
author = {Samuel J. Weisenthal},
journal= {arXiv preprint arXiv:2311.12188},
year = {2024}
}
备注
138 pages, 4 tables