大语言模型能否对医学问题作出推理
计算与语言
2023-12-27 v4 人工智能
机器学习
摘要
尽管大语言模型（LLMs）常能生成令人印象深刻的输出，但其在需要强推理能力与专家领域知识的真实场景中的表现仍不明确。我们着手研究闭源与开源模型（GPT-3.5、LLama-2 等）能否被用于回答并推理困难的真实世界问题。我们聚焦于三个流行的医学基准（MedQA-USMLE、MedMCQA 和 PubMedQA）以及多种提示场景：思维链（CoT，逐步思考）、少样本与检索增强。基于对生成 CoT 的专家标注，我们发现 InstructGPT 常能阅读、推理并回忆专家知识。最后，通过利用提示工程进展（少样本与集成方法），我们证明 GPT-3.5 不仅产生校准的预测分布，还在三个数据集上达到及格分数：MedQA-USMLE 60.2%、MedMCQA 62.7% 和 PubMedQA 78.2%。开源模型正在缩小差距：Llama-2 70B 也以 62.5% 准确率通过了 MedQA-USMLE。
引用
@article{arxiv.2207.08143,
title = {Can large language models reason about medical questions?},
author = {Valentin Liévin and Christoffer Egeberg Hother and Andreas Geert Motzfeldt and Ole Winther},
journal= {arXiv preprint arXiv:2207.08143},
year = {2023}
}
备注
37 pages, 23 figures. v1: results using InstructGPT, v2.0: added the Codex experiments, v2.1: added the missing test MedMCQA results for Codex 5-shot CoT and using k=100 samples, v3.0: added results for open source models -- ready for publication (final version)