FREESON：基于语料遍历MCTS的无检索式检索增强推理

大型推理模型（LRMs）在多步骤推理和适时调用搜索引擎方面展现出惊人能力。然而，现有的检索增强推理方法依赖于独立的检索模型，限制了LRM在检索方面的作用仅限于决定何时检索以及如何查询。这种分离不仅增加了硬件和运营成本，还导致由于表示瓶颈（即检索器的嵌入空间无法满足生成器的需求）在检索过程中出现错误。为此，我们将视角从序列到序列匹配转为定位语料库中包含答案的路径，提出一种 novel 框架称为FREESON（Retriever-FREE Retrieval-Augmented ReaSONing）。该框架使LRM能够通过自身行动从语料库中检索相关知识，同时充当生成器和检索器。为实现这一目标，我们引入了一种专为检索任务设计的MCTS算法变体，称为CT-MCTS（Corpus-Traversing Monte Carlo Tree Search）。在该算法中，LRMs遍历语料库以指向答案所在区域。我们在包括单跳和多跳问题在内的五个开放域QA基准测试上的结果表明，FREESON在四个多步骤推理模型（分别使用独立检索器）的平均EM和F1指标上提高了14.4%，而且在最强基线上也表现相当， 在PopQA和2WikiMultihopQA上分别超过了3%。