利用贝叶斯推理提升检索增强生成质量

检索增强生成（RAG）是现代大语言模型（LLM）应用中最流行的模式。RAG 涉及接收用户查询并在一个大型语料库中查找相关的上下文段落，这些段落通常存储在向量数据库中。在对向量数据库进行第一层搜索后，top-n 个相关文本片段被直接包含在上下文中，并作为提示发送给 LLM。该方法的问题在于文本片段的质量取决于搜索的有效性。搜索之后缺乏强有力的后处理来确定某个片段是否包含足够的信息以纳入提示。此外，同一主题可能存在包含冲突信息的多个片段，而模型缺乏先验经验来决定优先处理哪个片段以做出决策。通常，这导致模型声明存在相互矛盾的陈述，从而无法生成答案。在本研究中，我们提出了一种贝叶斯方法来验证搜索结果中文本片段的质量。贝叶斯定理试图将假设的条件概率与证据和先验概率相关联。我们提出，通过寻找文本片段给出高质量答案的似然度，并结合文本片段质量的先验概率，可以帮助提升 RAG 系统响应的整体质量。我们可以利用 LLM 本身来获取上下文段落相关性的似然度。对于文本片段的先验概率，我们使用文档解析中的页码。假设是较早页面中的段落具有更高的概率被发现且与泛化答案更为相关。