你怎么知道？教生成式语言模型引用生物医学问题的答案
计算与语言
2024-07-09 v1 人工智能
摘要
大型语言模型（LLM）最近已成为用户在线问题答案的主要来源。尽管它们能够提供雄辩的答案，但其准确性和可靠性可能构成重大挑战。对于生物医学等敏感领域尤其如此，这些领域对事实正确答案的需求更高。本文介绍了一种生物医学检索增强生成（RAG）系统，旨在增强生成响应的可靠性。该系统基于一个为引用式问答微调的LLM，通过提示将PubMed检索到的相关摘要作为输入传递到LLM的上下文中。其输出是基于PubMed摘要的答案，其中每个陈述都有相应的引用，允许用户验证答案。与PubMed搜索引擎相比，我们的检索系统实现了23%的绝对改进。基于小样本的人工评估，我们的微调LLM组件在引用相关摘要方面取得了与GPT-4 Turbo相当的结果。我们公开了用于微调模型的数据集，以及基于Mistral-7B-instruct-v0.1和v0.2微调后的模型。
引用
@article{arxiv.2407.05015,
title = {How do you know that? Teaching Generative Language Models to Reference Answers to Biomedical Questions},
author = {Bojana Bašaragin and Adela Ljajić and Darija Medvecki and Lorenzo Cassano and Miloš Košprdić and Nikola Milošević},
journal= {arXiv preprint arXiv:2407.05015},
year = {2024}
}
备注
Accepted at BioNLP Workshop 2024, colocated with ACL 2024