人类感知不确定性与神经网络模型不确定性估计
机器学习
2025-09-12 v2 人工智能
摘要
现代神经网络（NN）常常在预测准确率上取得高水平，但校准性差，即使错误预测也显得过于自信。这种误校准在可靠不确定性估计至关重要的应用中将带来严重挑战。本文我们研究人类感知不确定性与 NN 估计的不确定性之间的关系。使用三个以人类不一致和众包置信度标注的视觉基准数据集，我们评估模型预测的不确定性与人类感知的不确定性之间的相关性。我们的结果表明，当前方法仅在人类直觉上呈现弱相关，相关性在不同任务和不确定性指标之间存在显著差异。值得注意的是，我们发现将人类来源的软标签纳入训练过程可以在不牺牲准确率的前提下提高校准性。这些发现揭示了模型与人类不确定性之间的持久差距，并凸显了利用人类洞见指导开发更可信赖 AI 系统的潜力。
引用
@article{arxiv.2506.15850,
title = {Uncertainty Estimation by Human Perception versus Neural Models},
author = {Pedro Mendes and Paolo Romano and David Garlan},
journal= {arXiv preprint arXiv:2506.15850},
year = {2025}
}