JMLR：联合医学 LLM 与检索训练以提升推理与专业问答能力
计算与语言
2024-07-01 v4 信息检索
摘要
大型语言模型 (LLM) 在医学知识获取和问答方面展现出惊人的潜力。然而，LLM 可能产生幻觉并产生事实错误的结果，即使进行了领域特定的预训练。以往的检索增强生成 (RAG) 方法在消除幻觉方面效果有限。与以往的 RAG 方法不同，本文在微调阶段引入 JMLR (Jointly trains LLM and information Retrieval)，实现 LLM 与检索模型的联合训练。同步训练机制增强了 JMLR 检索临床指南、利用医学知识进行推理和回答问题的能力，同时降低了计算资源需求。我们在重要的医学问答应用中评估了 JMLR。我们的实验结果表明，JMLR-13B (70.5%) 在医学问答数据集上优于使用常规预训练和微调的前沿开源模型 Meditron-70B (68.9%) 和结合 RAG 的 Llama2-13B (67.7%)。全面评估显示，JMLR-13B 在推理质量和降低幻觉方面优于 Claude3-Opus。此外，JMLR-13B (148 GPU 小时) 的训练速度也远快于 Meditron-70B (42630 GPU 小时)。通过本工作，我们为医疗保健提供了一种新颖且高效的知识增强方法，展示了集成检索与 LLM 训练用于医疗问答系统的潜力。
引用
@article{arxiv.2402.17887,
title = {JMLR: Joint Medical LLM and Retrieval Training for Enhancing Reasoning and Professional Question Answering Capability},
author = {Junda Wang and Zhichao Yang and Zonghai Yao and Hong Yu},
journal= {arXiv preprint arXiv:2402.17887},
year = {2024}
}