面向医学领域的检索增强型大语言模型——BiomedRAG
计算与语言
2024-05-06 v3
摘要
大语言模型（LLM）迅速成为医疗和健康领域各类应用的重要资源；然而，这些模型面临生成不准确信息或幻觉等问题。检索增强生成为这些模型更新知识、提升性能提供了解决方案。与以往依赖专用交叉注意力机制帮助LLM编码检索文本的检索增强型语言模型不同，BiomedRAG采用更为直接的方法，将检索得到的基于块的文件直接输入LLM。这种简洁的设计易于应用于现有的检索和语言模型，有效规避了检索文件中噪声信息，尤其在噪声密集型任务中效果显著。此外，我们展示了利用LLM监督检索模型在医学领域的潜力，使其检索有助于LLM改进预测的文档。我们的实验表明，借助调谡后的评分器，BiomedRAG在5个医学NLP任务中实现了卓越的性能，涵盖信息抽取（三元组抽取、关系抽取）、文本分类、链接预测和问答等，涉及超过9个数据集。例如，在三元组抽取任务中，BiomedRAG在GIT和ChemProt语料库上的微F1分数分别为81.42和88.83，均显著优于其他三元组抽取系统。
引用
@article{arxiv.2405.00465,
title = {BiomedRAG: A Retrieval Augmented Large Language Model for Biomedicine},
author = {Mingchen Li and Halil Kilicoglu and Hua Xu and Rui Zhang},
journal= {arXiv preprint arXiv:2405.00465},
year = {2024}
}