MKRAG：面向医学问答的医学知识检索增强生成
计算与语言
2024-08-19 v3 人工智能
摘要
大语言模型（LLMs）虽然在通用领域能力强大，但在医学问答（QA）等特定领域任务上往往表现不佳。此外，LLMs倾向于作为“黑盒”运作，使其行为难以修改。为解决该问题，我们的工作采用透明的检索增强生成（RAG）流程，旨在无需微调或重训练即可改善LLM响应。具体而言，我们提出一种综合检索策略，从外部知识库抽取医学事实，并将其注入LLM的查询提示中。聚焦医学QA，我们利用MedQA-SMILE数据集评估不同检索模型及事实数量对LLM性能的影响。值得注意的是，我们的检索增强Vicuna-7B模型准确率从44.46%提升至48.54%。本工作凸显了RAG增强LLM性能的潜力，为缓解黑盒LLM带来的挑战提供了实用途径。
引用
@article{arxiv.2309.16035,
title = {MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering},
author = {Yucheng Shi and Shaochen Xu and Tianze Yang and Zhengliang Liu and Tianming Liu and Quanzheng Li and Xiang Li and Ninghao Liu},
journal= {arXiv preprint arXiv:2309.16035},
year = {2024}
}
备注
Accepted by AMIA 2024 Annual Symposium