一种用于识别深度学习未知性的模糊度量

我们从深度神经网络训练所涵盖的范围出发研究对其的理解。虽然这些模型在总体层面上的准确性通常令人印象深刻，但它们仍然会犯错，有时甚至是在看似微不足道的案例上。此外，这些模型在意识到自己不知道什么方面并不可靠，导致诸如对抗脆弱性和分布外失效等问题。在此，我们提出一种度量，用于量化任意给定模型在其训练范围下输入的模糊性。我们基于训练集在训练模型所学特征空间中的决策边界几何排列和凸包来定义模糊性，并证明单一的模糊度量可以检测模型在分布内样本、对抗输入以及分布外输入上的相当大一部分错误。利用我们的模糊度量，模型在遇到模糊输入时可以放弃分类，从而不仅在给定的测试集上，而且在现实世界中可能遇到的输入上都能获得更好的模型准确性。在追求这一度量的过程中，我们开发了一个理论框架，可以识别模型在其范围内的未知区域。我们将其与模型的置信度联系起来，并发展出公式来识别模型未知但模型保证具有高置信度的域区域。