解构混合思维：大语言模型是否能够真正切换思考与非思考模式？
机器学习
2025-10-15 v1 人工智能
计算与语言
摘要
混合思维使大语言模型能够在推理与直接回答之间切换，提供了效率与推理能力之间的平衡。然而，我们的实验揭示了当前混合思维大语言模型仅实现了部分模式分离：推理行为常常泄漏到无思考模式中。为理解并缓解此问题，我们分析了影响可控性的因素，识别出最重要的四个因素：(1) 数据规模更大，(2) 使用来自不同问题的思考与非思考答案而非同一问题，(3) 非思考数据数量适度增加，(4) 采用两阶段策略，先训练推理能力再应用混合思考训练。基于这些发现，我们提出了一套实用方法论：相较于标准训练，该方法在保持两种模式准确性的同时，可显著缩短无思考输出长度（在 MATH500 数据集上从 缩短至 ），并减少如 ``\texttt{wait}'' 等推理支持标记的出现（在 MATH500 数据集上从 降至 ）。我们的发现揭示了当前混合思维的局限性，并为加强其可控性提供了方向。
引用
@article{arxiv.2510.12680,
title = {Demystifying Hybrid Thinking: Can LLMs Truly Switch Between Think and No-Think?},
author = {Shouren Wang and Wang Yang and Xianxuan Long and Qifan Wang and Vipin Chaudhary and Xiaotian Han},
journal= {arXiv preprint arXiv:2510.12680},
year = {2025}
}
备注
10 pages, 6 figures