Softmax 空间的探索：了解神经网络何时“不知道”

随着人工智能系统在关键场景中的广泛部署，确保基于神经网络的自动决策可靠性将至关重要。本文提出了一种新的方法，用于衡量任何依赖softmax层预测的神经网络预测的置信水平。我们指出，高准确率训练的网络可能具有某些输出应具有低置信度的情形。在此类情况下，应推迟决策，网络为相应的分类任务提供\textit{未知}答案更为恰当。我们的 метод通过聚类softmax层中的向量来衡量簇心与网络输出之间的距离。我们展示，一个以所有正确预测的softmax输出均值计算得到的簇心，可作为评估置信度的合适代理。将给定类的距离阈值定义为从错误预测到该类簇心的最小距离，提供了一种为落入阈值范围内的任何网络分类添加\textit{未知}答案的简单方法。我们在MNIST和CIFAR-10数据集上使用卷积神经网络和视觉Transformer进行评估。结果表明，我们的方法在数据集和网络模型之间保持一致，并表明所提出的距离度量可有效确定自动预测何时是可接受的，何时应推迟至人类操作员。