用医学教科书增强黑盒大语言模型以用于生物医学问答
计算与语言
2025-02-25 v4 人工智能
摘要
ChatGPT 等大规模语言模型（LLMs）已展现出基于人类指令生成回复的惊人能力。然而，由于缺乏特定、深入的知识，其在医疗领域的应用颇具挑战。本研究提出一种称为医学教科书增强大语言模型（LLM-AMT）的系统，旨在提升 LLMs 在专门领域的熟练度。LLM-AMT 通过即插即用模块将权威医学教科书整合进 LLMs 框架。这些模块包括查询增强器、混合教科书检索器与知识自精炼器，共同融入权威医学知识。此外，一个 LLM 阅读器有助于上下文理解。我们在三项医学问答任务上的实验结果表明，LLM-AMT 显著改善回复质量，准确率提升达 11.6% 至 16.6%。值得注意的是，以 GPT-4-Turbo 为基模型时，LLM-AMT 比在大量医学语料上预训练的专用 Med-PaLM 2 模型高出 2-3%。我们发现，尽管规模小 100 倍，医学教科书作为检索语料在医学领域被证明是比维基百科更有效的知识库，将性能提升 7.8%-13.7%。
引用
@article{arxiv.2309.02233,
title = {Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering},
author = {Yubo Wang and Xueguang Ma and Wenhu Chen},
journal= {arXiv preprint arXiv:2309.02233},
year = {2025}
}
备注
This version has been accepted and published at EMNLP Findings 2024