LEAD:打破长程推理中的无恢复瓶颈
人工智能
2026-04-23 v2
摘要
在大型语言模型(LLM)中,尽管提供高层策略,长程执行仍然不够稳定。我们在受控的算法谜题上进行评估,表明分解对于稳定性至关重要,但极端分解会导致“无恢复瓶颈”。我们指出,这一瓶颈源于高度非均匀的误差分布,其中对少数“困难”步骤的持续误差会变得不可逆。为解决此问题,我们提出了前瞻增强原子分解方法(Lookahead-Enhanced Atomic Decomposition, LEAD)。通过引入短程未来验证并聚合重叠的 rollout,LEAD 在保持稳定性的同时,保留足够的局部上下文以纠正错误。这使 o4-mini 模型能够解决跳棋问题,复杂度达到 ,而极端分解在 以上时会失败。
引用
@article{arxiv.2603.06870,
title = {LEAD: Breaking the No-Recovery Bottleneck in Long-Horizon Reasoning},
author = {Denys Pushkin and Emmanuel Abbe},
journal= {arXiv preprint arXiv:2603.06870},
year = {2026}
}
备注
28 pages, 5 figures, 2 tables. Updated version to reflect the manuscript under review at COLM 2026