分类器能否知晓其所不知？

在面对未知时保持不确定性是智能决策的关键。然而，机器学习算法缺乏对其预测不确定性的可靠估计。这导致在遇见训练期间未见的类别时，做出错误且过度自信的决策。尽管为分类器配备可应用于真实世界的不确定性估计十分重要，先前工作多聚焦于小数据集以及训练与测试数据间极少或不存在类别差异的场景。为弥补这一差距，我们提出 UIMNET：一个真实的、ImageNet 规模的测试平台，用于评估深度图像分类器的预测不确定性估计。我们的基准提供了八种最先进算法的实现、六种不确定性度量、四种域内指标、三种域外指标，以及用于训练、校准、集成、选择和评估模型的 fully automated pipeline。我们的测试平台是开源的，且所有结果均可从仓库中固定 commit 复现。添加新数据集、算法、度量或指标仅需数行代码——由此希望 UIMNET 成为迈向真实、严谨且可复现的不确定性估计研究的垫脚石。我们的结果表明，ERM 分类器的集成以及单个 MIMO 分类器是当前可用于度量域内与域外类别不确定性的两种最佳方案。