置信度估计能否决定大语言模型是否需要链式思考？
强关联电子
2025-10-27 v1
摘要
链式思考（CoT）是提高大语言模型（LLM）推理能力的常用技术。然而，扩展推理往往是不必要的，并且显著增加 token 使用量。因此，如何在实际需要时合理分配计算资源成为关键问题。我们通过置信度门控 CoT 进行研究，即模型先生成直接答案和置信度估计，以决定是否调用 CoT。我们提出评估框架并进行系统性置信度信号研究。我们评估四种代表性置信度措施，并与随机门控和 oracle 上限进行比较。跨两个模型家族和多样化推理任务的实验表明，现有无训练置信度措施可减少冗余推理。然而，我们也发现单个置信度措施在不同情境下的效用不一致。通过评估框架和分析，本研究为开发和评估有选择性使用 CoT 的模型提供了实用指导。
引用
@article{arxiv.2510.21005,
title = {Photoinduced Metal-to-Insulator Transitions in 2D Moir\'e Devices},
author = {Yiliu Li and Esteban Rojas-Gatjens and Yinjie Guo and Birui Yang and Dihao Sun and Luke Holtzman and Juseung Oh and Katayun Barmak and Cory R. Dean and James C. Hone and Nathaniel Gabor and Eric A. Arsenault and Xiaoyang Zhu},
journal= {arXiv preprint arXiv:2510.21005},
year = {2025}
}
备注
13 pages, 4 figures, SI