GeneGPT：以领域工具增强大语言模型以改善生物医学信息获取
计算与语言
2024-04-10 v3 人工智能
基因组学
摘要
尽管大语言模型（LLMs）已成功应用于各类任务，它们仍面临幻觉挑战。以数据库工具等特定领域工具增强 LLMs，可促成更易且更精准的专门知识获取。在本文中，我们提出 GeneGPT，一种教导 LLMs 使用美国国家生物技术信息中心（NCBI）Web API 来回答基因组学问题的新方法。具体而言，我们通过上下文学习以及一种能够检测并执行 API 调用的增强解码算法，提示 Codex 利用 NCBI Web API 解决 GeneTuring 测试。实验结果表明，GeneGPT 在 GeneTuring 基准的八项任务上取得了最先进性能，平均得分 0.83，大幅超越检索增强型 LLMs 如新 Bing（0.44）、生物医学 LLMs 如 BioMedLM（0.08）和 BioGPT（0.04），以及 GPT-3（0.16）和 ChatGPT（0.12）。我们的进一步分析表明：(1) API 演示具有良好的跨任务泛化能力，且比文档更适用于上下文学习；(2) GeneGPT 可泛化至更长的 API 调用链，并回答本工作引入的新数据集 GeneHop 中的多跳问题；(3) 不同类型的错误在不同任务中富集，为未来改进提供了宝贵见解。
引用
@article{arxiv.2304.09667,
title = {GeneGPT: Augmenting Large Language Models with Domain Tools for Improved Access to Biomedical Information},
author = {Qiao Jin and Yifan Yang and Qingyu Chen and Zhiyong Lu},
journal= {arXiv preprint arXiv:2304.09667},
year = {2024}
}