大语言模型中的链式思维早期停止
计算与语言
2026-05-19 v2
摘要
大型语言模型(LLM)通过生成长链式思维(CoT)在解决复杂问题方面显示出优越的能力，但这种冗长的CoT会导致高昂的推理成本。先前的推理效率方法要么需要白箱模型来监控推理过程，要么通过直接提示方式不可靠。在此响应下，我们引入ES-CoT，这是一种在推理阶段的短方法，通过检测答案收敛并几乎不损失性能地提前停止CoT生成。当观察到推理过程中出现的语言标记(如“wait”)时，我们会提示LLM输出其当前的最终答案，称为步骤答案。我们随后跟踪连续相同步骤答案的运行长度，以作为答案收敛的度量。我们通过实证和理论证明，步骤答案会稳定地收敛到最终答案，较大的运行长度跳跃可靠地标记了这一收敛。在三个LLM上的六个推理数据集实验中显示，ES-CoT平均减少16.08%的推理token数，同时保持与标准CoT相当的准确率。
引用
@article{arxiv.2509.14004,
title = {Early Stopping Chain-of-thoughts in Large Language Models},
author = {Minjia Mao and Bowen Yin and Yu Zhu and Xiao Fang},
journal= {arXiv preprint arXiv:2509.14004},
year = {2026}
}