思考以召回：如何通过推理激活 LLM 中的参数知识
计算与语言
2026-03-11 v1
摘要
尽管推理在 LLM 中在数学、代码生成和多跳事实问题中发挥着自然的作用，但其对简单、单跳事实问题的影响尚不明了。此类问题不要求进行逐步逻辑分解，使得其效用高度违反直觉。尽管如此，我们发现，使能推理显著扩展了模型参数知识召回的能力边界，解锁了原本无法触及的正确答案。为何在没有复杂推理步骤需要的情况下，推理能帮助参数知识召回呢？为此，我们设计了一系列假设驱动的受控实验，确定了两个关键驱动机制：(1) 计算缓冲效应，模型使用生成的推理标记在其语义内容独立于其语义内容的情形下进行潜在计算；(2) 事实 priming，通过生成与主题相关的事实作为语义桥梁，促进正确答案的检索。重要的是，这种后 generative self-retrieval 机制本身携带内在风险：我们演示了在推理期间产生幻觉中间事实会增加最终答案幻觉的可能性。最后，我们表明，这些见解可被利用，直接通过优先考虑包含无幻觉事实陈述的推理轨迹来提高模型准确率。
关键词
引用
@article{arxiv.2603.09906,
title = {Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs},
author = {Zorik Gekhman and Roee Aharoni and Eran Ofek and Mor Geva and Roi Reichart and Jonathan Herzig},
journal= {arXiv preprint arXiv:2603.09906},
year = {2026}
}