为何你不知道？探讨不确定性来源对大语言模型不确定性量化的影响
计算与语言
2026-04-14 v1
摘要
随着大语言模型（LLM）在实际应用中日益广泛部署，可靠的不确定性量化（Uncertainty Quantification, UQ）对于确保其安全有效地使用至关重要。目前大多数面向语言模型的UQ方法旨在生成单一置信度分数——例如，估计模型答案正确的概率。然而，自然语言任务中的不确定性源自多个不同的来源，包括模型知识缺口、输出变异性和输入模糊性，这些来源对系统行为和用户交互具有不同的影响。本文研究了不确定性来源如何影响现有UQ方法的行为和效果。为实现受控分析，我们引入了一个新数据集，显式分类不确定性来源，使可系统评估每种条件下的UQ性能。我们的实验表明，虽然许多UQ方法在不确定性仅源于模型知识限制时表现良好，但在引入其他来源后，其性能会恶化或产生误导性结果。这些发现凸显了针对大语言模型中不确定性来源进行不确定性感知的方法的必要性。
引用
@article{arxiv.2604.10495,
title = {Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs},
author = {Maiya Goloburda and Roman Vashurin and Fedor Chernogorsky and Nurkhan Laiyk and Daniil Orel and Preslav Nakov and Maxim Panov},
journal= {arXiv preprint arXiv:2604.10495},
year = {2026}
}