ChatGPT在生物医学任务上的评测：与微调生成式Transformer的零样本比较
计算与语言
2023-08-25 v3 机器学习
摘要
ChatGPT是由OpenAI开发的大语言模型(LLM)。尽管其在各类任务上表现令人印象深刻，此前尚无工作考察其在生物医学领域的能力。为此，本文旨在评估ChatGPT在诸多基准生物医学任务(如关系抽取、文档分类、问答与摘要)上的表现。据我们所知，这是首个对ChatGPT在生物医学领域进行广泛评测的工作。有趣的是，我们的评测发现：在训练集较小的生物医学数据集上，零样本ChatGPT甚至优于诸如BioGPT与BioBART等最先进的微调生成式transformer模型。这表明ChatGPT在大型文本语料上的预训练使其即便在生物医学领域也颇为专精。我们的发现证明，ChatGPT有潜力成为生物医学领域缺乏大型标注数据的各类任务中的宝贵工具。
引用
@article{arxiv.2306.04504,
title = {Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers},
author = {Israt Jahan and Md Tahmid Rahman Laskar and Chun Peng and Jimmy Huang},
journal= {arXiv preprint arXiv:2306.04504},
year = {2023}
}
备注
Accepted by BioNLP@ACL 2023