自适应检索在 LLM 推理中的作用——但大多数情况下不使用时才有效
机器学习
2026-02-10 v1
摘要
大型语言模型 (LLM) 常因其静态的参数化知识在复杂推理任务中表现不佳，导致幻觉现象和在专业领域（如数学）中的性能下降。本文探讨了一种增强生成式模型的基本原则：将检索视为动态的基于情境的学习形式。我们测试了一种自适应检索增强架构，LLM 智能体在推理过程中主动决定是否查询外部知识库。我们将该自适应策略与标准链式思维 (Chain-of-Thought, CoT) 基线和静态检索方法在 GSM8K 和 MATH-500 数据集上进行比较。尽管实验显示静态检索的表现不如 CoT，但自适应检索展现出有趣的行为：包含检索结果的轨迹虽略逊于 CoT，但不包含检索结果的轨迹反而优于 CoT。这表明：(a) 检索仅在极少数情况下有助于推理（我们展示了一些反例，如使用有用定理），且 (b) 主动不使用检索是良好模型性能的指标。此外，我们发现模型会根据问题难度调整检索频率，强化检索决策作为关键元认知信号的重要性。智能体能够自我评估其知识并有选择地与外部信息交互，代表了构建更稳健可靠生成式模型的关键原则。
引用
@article{arxiv.2602.07213,
title = {Adaptive Retrieval helps Reasoning in LLMs -- but mostly if it's not used},
author = {Srijan Shakya and Anamaria-Roberta Hartl and Sepp Hochreiter and Korbinian Pöppel},
journal= {arXiv preprint arXiv:2602.07213},
year = {2026}
}
备注
Eurips Workshop on Principles of Generative Modeling (PriGM)