长CoT还是短CoT？大规模推理模型中实例级切换的探究
计算与语言
2025-06-05 v1
摘要
随着大规模推理模型的快速发展，长链式思维（CoT）提示在复杂任务上展现了强大的性能。然而，这通常伴随着token使用量的显著增加。在本文中，我们对长CoT和短CoT策略进行了全面的实证比较分析。我们的发现表明，虽然长CoT可以带来性能提升，但其收益相对于其显著更高的token消耗往往微乎其微。具体而言，当有充足的生成预算时长CoT倾向于表现更好，而在预算受限时短CoT更有效。这些见解强调了需要一种动态方法，根据任务上下文和资源可用性选择合适的CoT策略。为此，我们提出了SwitchCoT，一个自动框架，自适应地在长CoT和短CoT策略之间进行选择，以平衡推理准确性和计算效率。此外，SwitchCoT设计为预算感知，使其广泛适用于不同资源约束的场景。实验结果表明，SwitchCoT可以将推理成本降低高达50%，同时保持高准确率。值得注意的是，在有限的token预算下，它实现了与单独使用长CoT或短CoT相当甚至超越的性能。
引用
@article{arxiv.2506.04182,
title = {Long or short CoT? Investigating Instance-level Switch of Large Reasoning Models},
author = {Ruiqi Zhang and Changyi Xiao and Yixin Cao},
journal= {arXiv preprint arXiv:2506.04182},
year = {2025}
}