重新审视置信度估计中的认识标记：标记能否准确反映大语言模型的不确定性？
计算与语言
2026-04-14 v3
摘要
随着大语言模型（LLM）日益广泛地应用于高风险领域，准确评估其置信度至关重要。人类通常通过认识标记（如“相当确信”）而非数值来表达置信度。然而，由于难以量化与各种标记相关的不确定性，LLM是否一致地使用这些标记来反映其内在置信度仍不明确。为填补这一空白，我们首先将标记置信度定义为模型使用某认识标记时的观测准确率。我们在多个问答数据集上，于分布内与分布外设置下评估开源与专有LLM的标记置信度稳定性。结果表明，尽管标记在同一分布内泛化良好，其置信度在分布外场景中却不一致。这些发现引发了对认识标记在置信度估计中可靠性的重大担忧，凸显了改进基于标记的置信度与实际模型不确定性之间对齐的必要性。我们的代码可在 https://github.com/HKUST-KnowComp/MarConf 获取。
引用
@article{arxiv.2505.24778,
title = {Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?},
author = {Jiayu Liu and Qing Zong and Weiqi Wang and Yangqiu Song},
journal= {arXiv preprint arXiv:2505.24778},
year = {2026}
}
备注
ACL 2025 Main