DynamicRAG：利用大语言模型输出作为反馈实现检索增强生成中的动态重排序

检索增强生成 (RAG) 系统将大规模语言模型 (LLM) 与外部知识检索相结合，因而在知识密集型任务中表现突出。然而，这些系统中至关但常被忽视的组成部分是重排序器。由于 RAG 系统中不相关文档可能误导生成器，重排序器在优化检索文档以提升生成质量和可解释性方面发挥着关键作用。然而，确定重排序器应选择多少文档 ($k$) 仍具有挑战性：文档太少可能导致关键信息缺失，而文档过多则引入噪声和效率问题。虽然近期研究探索了基于 LLM 的重排序器，但主要依赖模型内部知识，忽略了 LLM 可提供的丰富监督信号，例如将响应质量作为反馈来优化重排序决策。本文提出了 DynamicRAG，一种 novel RAG 框架，其中重排序器可根据查询动态调整检索文档的顺序和数量。我们将重排序器建模为通过强化学习 (RL) 优化的智能体，使用源自 LLM 输出质量的奖励。我们在七个知识密集型数据集上进行实验，DynamicRAG 在相同参数规模的模型中实现了最先进的性能。该模型、数据和代码均已公开于 https://github.com/GasolSun36/DynamicRAG。