FunnelRAG：面向RAG的粗到细渐进检索范式

检索增强生成（RAG）在大型语言模型中占据主导地位。其主要由检索与生成组成。检索模块（即检索器）旨在找到用于促进生成模块（即生成器）的有用信息。因此，生成器的性能很大程度上取决于检索器的有效性和效率。然而，广泛使用的检索范式仍为平面化。它将检索过程视为一次性处理，保持不变的粒度。尽管有效，但我们认为其存在两个局限性：（1）平面检索对单个检索器造成显著负担；（2）恒定粒度限制了检索性能的上限。为此，本文提出一种渐进式检索范式，采用粗到细的粒度划分，称为FunnelRAG，以平衡有效性和效率。具体而言，FunnelRAG通过协同粗到细的粒度、大到小的数量、低到高的容量，建立了渐进式检索管道，这可以减轻单个检索器的负担，也提升检索性能的上限。大量实验表明，FunnelRAG在实现相当检索性能的同时，将时间开销降低了近40%。