审视你自己的思维：推理有助于揭示 LLM 中的自置信信号
计算与语言
2025-11-06 v2
摘要
我们通过分析 DeepSeek R1-32B 在问答 (QA) 任务中自述的言语置信度，研究其不确定性来源。在默认的“先回答后置信度”设置中，模型经常表现出过度自信，而通过对多个响应进行采样获得的语义熵仍然可靠。我们假设这是因为语义熵具有更大的测试时计算量，使我们能够探索模型的预测分布。我们表明，通过在最终答案前强制进行长思维链，赋予 DeepSeek 探索其分布的预算，可极大提高其言语分数的有效性，即使在通常不需要推理的简单事实检索问题上也是如此。此外，一个仅能看到思维链的独立阅读器模型可以重构出非常相似的置信度，这表明言语分数可能仅仅是推理过程中浮现的备选方案的一个统计量。我们的分析得出结论，可靠的不确定性估计需要对生成空间进行显式探索，并且自述置信度只有在经过此类探索后才值得信赖。
引用
@article{arxiv.2505.23845,
title = {Read Your Own Mind: Reasoning Helps Surface Self-Confidence Signals in LLMs},
author = {Jakub Podolak and Rajeev Verma},
journal= {arXiv preprint arXiv:2505.23845},
year = {2025}
}
备注
Presented at UncertaiNLP Workshop at EMNLP 2025 https://aclanthology.org/2025.uncertainlp-main.21.pdf