基于训练集凸包的深度学习系统不确定性测量

深度学习 (DL) 在计算机视觉领域取得了显著成就，并被采用于安全关键领域，如医学影像或自动驾驶。因此，了解模型的不确定性对于有效减少因深度神经网络 (DNN) 误判而导致的事故和损失至关重要。这可以通过高效选择可能对模型不稳定的数据来实现。传统上，数据收集和标注是手动完成的，但最近涌现出一种关注捕获模型未学习到的样本的测试数据选择方法，这些方法基于 DNN 中神经元的激活模式，或基于深度学习 softmax 输出的熵最小化来进行选择。然而，这些方法无法定量分析未见样本相对于训练数据的外推程度。因此，我们提出了 To-hull 不确定性和闭合比率，这是一种基于训练数据凸包来衡量训练模型不确定性的方法。它可以观察已学习数据凸包与未见样本之间的位置关系，从而推断该样本相对于凸包的外推程度。为评估所提出的方法，我们在流行数据集和 DNN 模型上进行了经验研究，与最先进的测试选择指标进行了比较。实验结果表明，所提出的 To-hull 不确定性在寻找具有异常模式的样本(例如，对抗性攻击)方面优于现有的测试选择指标。