基于原子单元的问题检索用于企业RAG

企业检索增强生成（RAG）提供了一个高度灵活的框架，将强大的大型语言模型（LLM）与内部的、可能随时间变化的文档相结合。在RAG中，文档首先被分块。然后针对用户查询检索相关的块，并将其作为上下文传递给合成器LLM以生成查询响应。然而，检索步骤可能会限制性能，因为不正确的块可能导致合成器LLM生成错误响应。本工作应用了标准稠密检索步骤的零样本自适应，以实现更准确的块召回。具体而言，首先将一个块分解为原子陈述。然后在这些原子（以该块作为上下文）上生成一组合成问题。稠密检索涉及寻找与用户查询最接近的合成问题集及其关联的块。研究发现，使用原子进行检索比使用块进行检索具有更高的召回率。使用在原子上生成的合成问题进行检索时，观察到进一步的性能提升。检索步骤中召回率的提高使得使用RAG流水线的企业LLM具有更高的性能。