中文

FoE:错误森林使首个解成为大推理模型的最优解

人工智能 2026-04-06 v1 计算与语言

摘要

近期的大推理模型(LRM)如 DeepSeek-R1 在复杂推理任务中展现了显著成功,展现出探索多种替代解的人类样态模式。然而,细致审视揭示了一个令人惊讶的现象:首个解即为最优解,其中替代解不仅次优甚至可能有害。这一观察挑战了广泛接受的测试时缩放定律,使我们假设推理路径中的误差随测试时间并发增长。通过全面的实证分析,我们将误差刻画为森林结构的错误森林(FoE),并得出结论 FoE 使首个解为最优解,其背后有严格的理论分析支撑。基于这些洞察,我们提出了 RED,一个自引导的高效推理框架,包含两个组件:I)优化首个解,抑制 FoE 在首个解中的增长;II)舍弃子解,通过双一致性剪枝后续 FoE。在五个基准和六个骨干模型上的广泛实验表明,RED 超越了八个竞争基线,实现了高达 19.0% 的性能提升,同时将令牌消耗降低了 37.7% ~ 70.4%。此外,关于 FoE 度量的对比实验揭示了 RED 实现有效性的机制。

关键词

引用

@article{arxiv.2604.02967,
  title  = {FoE: Forest of Errors Makes the First Solution the Best in Large Reasoning Models},
  author = {Kehan Jiang and Haonan Dong and Zhaolu Kang and Zhengzhou Zhu and Guojie Song},
  journal= {arXiv preprint arXiv:2604.02967},
  year   = {2026}
}