SwiReasoning：在潜在与显式间切换以实现更优推理的大语言模型
计算与语言
2026-03-03 v3 人工智能
摘要
最近的工作表明，除了通过显式链式思维步骤进行离散推理（受自然语言边界限制）外，大型语言模型（LLMs）还能在潜在空间中进行连续推理，通过保持每个步骤的更丰富信息来提高 token 效率。尽管存在这种前景，但潜在推理仍面临两个挑战，尤其是在无训练的设置下：1) 纯潜在推理通过维持多个隐式路径来扩大搜索分布，从而稀释概率质量、引入噪声，并阻碍对单个高置信度解答的收敛，从而损害准确性；以及2) 即使没有显式文本，过度思考仍然存在，浪费 token 并降低效率。为此，我们引入了 SwiReasoning，一个无训练框架，用于 LLM 推理，其包含两个关键创新：1) SwiReasoning 根据从下游分布的熵趋势估计的块级置信度，动态在显式和潜在推理之间切换，以平衡探索与开发并促进及时收敛。2) 通过限制思考块的切换次数，SwiReasoning 控制了过度思考，提高了在不同问题难度下的 token 效率。在广泛使用的数学、STEM、编码和通用基准测试上，SwiReasoning 在不同模型家族和规模的推理 LLMs 上 consistently 提升了平均准确率提升 1.8%-3.1%。此外，在受限预算下，SwiReasoning 将平均 token 效率提高 57%-79%，随着预算紧缩，提升幅度更大。
引用
@article{arxiv.2510.05069,
title = {SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs},
author = {Dachuan Shi and Abedelkadir Asi and Keying Li and Xiangchi Yuan and Leyan Pan and Wenke Lee and Wen Xiao},
journal= {arXiv preprint arXiv:2510.05069},
year = {2026}
}
备注
ICLR 2026. Code: https://github.com/sdc17/SwiReasoning, Website: https://swireasoning.github.io/