通过纠正少数决策 token 来恢复推理能力

大型推理模型（LRM）在具有挑战性的推理基准测试上显著优于其基础 LLM 版本，但人们仍很少理解基础模型在 token-by-token 生成过程中出错的具体位置以及如何有效缩小这一差距。我们通过对数基于可能性的分布性 disagreement 来量化基础模型与更强推理模型之间的 token 级分布 disagreement 来研究 this gap。我们发现，推理优势高度稀疏，集中在少数早期、与规划相关的 decision token 上。例如，在 Qwen3-0.6B 上，仅约 8% 的生成 token account for the salient disagreement，这些 token 集中在响应的早期，strongly enrichment 在规划相关 decision 中（17 倍），并与基础模型的高不确定性 相吻合——这表明基础模型主要在早期规划点出错，这些点引导随后的推理轨迹。基于这些发现，我们提出了 disagreement-guided token intervention，即一种简单的 inference-time delegation scheme，仅在 high-disagreement positions 执行 one-token takeover，随后立即切回基础模型。即使在有限的 intervention 预算下，这种稀疏 delegation 也能在具有挑战性的推理任务上显著恢复甚至超过同尺寸的推理模型的性能。代码已公开于 https://github.com/AlphaLab-USTC/RRTokenIntervention。