ChatGPT是生物医学专家吗？——探究当前GPT模型在生物医学任务中的零样本性能
计算与语言
2023-07-25 v2
摘要
我们评估了商业大语言模型(LLM) GPT-3.5-Turbo和GPT-4在2023年BioASQ挑战赛任务上的表现。在侧重于答案生成的任务11b阶段B中，两个模型都展示出与领先系统相竞争的能力。值得注意的是，它们仅通过简单的零样本学习并辅以相关片段作为依据便实现了这一点。即便没有相关片段，它们的表现也尚可，尽管无法与最佳系统匹敌。有趣的是，较旧且更便宜的GPT-3.5-Turbo系统在基于依据的事实型与列表型问答设置中能够与GPT-4竞争。在侧重于检索的任务11b阶段A中，通过零样本学习进行查询扩展提升了性能，但模型与其他系统相比仍有差距。重新运行这些实验所需的代码可通过GitHub获取。
引用
@article{arxiv.2306.16108,
title = {Is ChatGPT a Biomedical Expert? -- Exploring the Zero-Shot Performance of Current GPT Models in Biomedical Tasks},
author = {Samy Ateia and Udo Kruschwitz},
journal= {arXiv preprint arXiv:2306.16108},
year = {2023}
}
备注
Preprint accepted at the 11th BioASQ Workshop at the 14th Conference and Labs of the Evaluation Forum (CLEF) 2023; Changes: 1. Added related work and experimental setup sections. 2. Reworked discussion and future work section. 3. Fixed multiple typos and improved style. Changed license