SmartSwitch: 通过促进更深层思考探索来克服大语言模型的深度思考不足
计算与语言
2025-10-23 v1 人工智能
机器学习
摘要
长链式思维(LongCoT)能力是大语言模型在复杂推理任务中取得突破性进展的核心因素。然而，伴随问题是'深度思考不足'，即模型频繁切换思考而未充分探索，从而限制了性能和token效率。为解决此问题，我们提出一种简单且有效的推理策略：SmartSwitch推理框架。该框架可轻松集成到任何大语言模型中作为即插即用解决方案，持续监控模型的推理过程以检测深度思考不足并引导其对值得关注但被忽视的思考路径进行更深层探索。具体而言，感知模块识别思考切换点并评估前述思考的潜在价值，若发现高潜力思考被过早放弃，干预模块会中断当前推理、回溯至切换前的点并插入'深化提示'以鼓励在该有前景路径上进一步探索。对挑战性数学推理基准进行大量实验表明，我们的方法显著提升了不同规模大语言模型的性能。
引用
@article{arxiv.2510.19767,
title = {SmartSwitch: Advancing LLM Reasoning by Overcoming Underthinking via Promoting Deeper Thought Exploration},
author = {Xichen Zhang and Sitong Wu and Haoru Tan and Shaozuo Yu and Yinghao Zhu and Ziyi He and Jiaya Jia},
journal= {arXiv preprint arXiv:2510.19767},
year = {2025}
}
备注
Code: https://github.com/dvlab-research/SmartSwitch