大语言模型中的德纳-克鲁格效应：置信度校准的实证研究
计算与语言
2026-03-12 v1 人工智能
摘要
大语言模型（LLMs）在多样化任务上展现出惊人的能力，但其准确评估自身置信度的能力仍鲜有了解。我们 presented 进行一次经验性研究，探讨大语言模型是否呈现类似德纳-克鲁格效应（Dunning-Kruger effect）的模式——即能力有限者倾向于高估自身能力的认知偏差。我们评估了四个最先进的模型（Claude Haiku 4.5、Gemini 2.5 Pro、Gemini 2.5 Flash 和 Kimi K2），并在四个基准数据集上进行实验，总计 24,000 项实验试验。我们的结果揭示了显著的校准差异：Kimi K2 在仅 achieving 23.3% 的准确率时，置信度校准误差（Expected Calibration Error, ECE）高达 0.726，表现出严重的过度自信；而 Claude Haiku 4.5 在 75.4% 的准确率下实现了最佳校准（ECE = 0.122）。这些发现表明，表现不佳的模型显示出显著的高置信度——这一模式类似于人类认知中的德纳-克鲁格效应。我们讨论了在高风险应用中安全部署大语言模型的意义。
引用
@article{arxiv.2603.09985,
title = {The Dunning-Kruger Effect in Large Language Models: An Empirical Study of Confidence Calibration},
author = {Sudipta Ghosh and Mrityunjoy Panday},
journal= {arXiv preprint arXiv:2603.09985},
year = {2026}
}