零步思考：一种关于推理模型模式选择的实证研究
人工智能
2025-10-23 v1 计算与语言
摘要
推理模型在数学和逻辑推理任务中表现出色，主要归因于其在推理过程中能够进行逐步思考。然而，这往往导致过度思考，造成不必要的计算开销。为此，Mode Selection 旨在自动决定是在Long-CoT（链式思考）还是Short-CoT之间选择，利用Thinking或NoThinking模式。同时，Early Exit 决定在迭代推理过程中选择最佳停止点。这两种方法都旨在减少计算负担。在本文中，我们首先将Mode Selection 识别为Early Exit问题的一个更具挑战性的变体，因为它们共享类似的目标，但在决策时机上存在差异。虽然Early Exit侧重于在推理推断时确定简洁推理的最佳停止点，但Mode Selection必须在推理过程开始时做出此决定，依赖于在没有明确推理过程的情况下预先定义的假想思考，称为零步思考。通过对九个基线的实证研究，我们观察到基于提示的方法常常因其在有限的手工制作信息下受限的分类能力而失败。相比之下，利用内部信息的方法在大多数情景下表现更好，但仍存在稳定性问题。我们的发现表明，仅依赖模型所提供信息的现有方法在信息有限的情景下不足以有效解决Mode Selection问题，凸显了该任务的持续挑战。我们的代码可在 https://github.com/Trae1ounG/Zero_Step_Thinking 查阅。
引用
@article{arxiv.2510.19176,
title = {The Zero-Step Thinking: An Empirical Study of Mode Selection as Harder Early Exit in Reasoning Models},
author = {Yuqiao Tan and Shizhu He and Kang Liu and Jun Zhao},
journal= {arXiv preprint arXiv:2510.19176},
year = {2025}
}
备注
Accepted by NeurIPS'25 Efficient Reasoning Workshop