通过回归分析识别置信度校准中的关键 N-gram
计算与语言
2026-04-08 v1
摘要
尽管大语言模型（LLMs）通过显式推理提升了性能，但其响应往往过度自信，即使其中包含表达不确定性的语言表达。在本工作中，我们通过回归方法识别哪些语言表达与置信度相关。具体而言，我们将 LLMs 推理部分中语言表达的置信度预测为因变量，并分析特定 n-gram 与置信度之间的关系。在多个模型和 QA 基准测试中，我们表明 LLMs 在涉及推理时仍然过度自信，并将这种行为归因于特定的语言信息。有趣的是，提取出的若干表达与测试时缩放中故意插入的提示短语相吻合。通过对因果关系的验证以及提取出的语言信息确实影响置信度的测试，我们揭示只需抑制那些过度自信的表达即可实现置信度校准，而不会导致性能下降。
引用
@article{arxiv.2604.05757,
title = {Identifying Influential N-grams in Confidence Calibration via Regression Analysis},
author = {Shintaro Ozaki and Wataru Hashimoto and Hidetaka Kamigaito and Katsuhiko Hayashi and Taro Watanabe},
journal= {arXiv preprint arXiv:2604.05757},
year = {2026}
}