递归语言模型与不确定性相遇：自反思程序搜索在长上下文中的惊人有效性

长上下文处理是语言模型面临的核心挑战之一：即便拥有扩展后的上下文窗口，模型也往往无法可靠地提取、推理并利用跨越长上下文的信息。最近的工作如递归语言模型（RLM）通过程序化交互在推理阶段将长上下文分解为递归子调用，试图应对这一挑战。虽然前景光明，但RLM的成功严重依赖于这些上下文交互程序的选择方式，而这一问题长期以来鲜有探讨。本文研究了这一问题，引入SRLM框架，通过不确定性感知的自我反思（Self-Reflection）来增强程序化上下文交互。SRLM利用三个内在信号：自一致性、推理长度和自言自语置信度。这些信号作为模型内部不确定性的互补指示器，模型据此评估和比较备选的上下文交互程序。广泛的实验在多样化的基准数据集、上下文长度和主干模型上进行，表明SRLM在所有基准上均显著优于最先进的基线，在相同时间预算下相较于RLM实现最高22%的提升。我们的发现表明，递归本身并非RLM性能的主要驱动力，一种简单的自反思程序搜索即可在不要求自查询或显式递归机制的情况下匹配甚至超越RLM。我们发现，在模型窗口内的上下文长度上，带有递归的RLM往往会因性能下降而低于基础模型，而SRLM在短上下文和长上下文之间均实现持续提升。我们还发现，RLM在语义密集型任务中效果较差，此时启发式程序搜索不足，模型需要更广泛的上下文理解；而SRLM通过自反思提供语义信号，可更好地引导这些情境下的推理。