面向大语言模型的置信度归属
人工智能
2025-04-15 v1 计算与语言
摘要
置信度是对应于信念程度的心理状态。在大语言模型 (LLM) 评估领域的经验文献中，常见对 LLM 置信度进行归属。然而，LLM 置信度归属的理论基础尚不明确。我们捍卫了三个论点。首先，我们的语义论点是，LLM 置信度归属在一般情况下应被字面正确地解释，作为描述 LLM 置信度事实的科学家信念的表达。其次，我们的形而上学论点是，LLM 置信度的存在至少是可能的，尽管当前证据尚不确定。第三，我们的认识论论点是，LLM 评估领域的 LLM 置信度归属面临非平凡的怀疑问题。一种distinct的可能性是，即便 LLMs 具有置信度，LLM 置信度归属也可能普遍为假，因为用于评估 LLM 置信度的实验技术并非真理跟踪。
引用
@article{arxiv.2407.08388,
title = {On the attribution of confidence to large language models},
author = {Geoff Keeling and Winnie Street},
journal= {arXiv preprint arXiv:2407.08388},
year = {2025}
}
备注
22 pages, 0 figures