我们能防御未知威胁吗？关于神经网络监控阈值选择的实证研究

随着神经网络在关键系统中的日益广泛应用，运行时监控对于在推理过程中拒绝不安全的预测变得至关重要。已经出现了多种技术来建立拒绝分数，以最大化安全预测与不安全预测分布之间的可分性。这些方法的有效性主要使用与阈值无关的指标来评估，例如受试者工作特征曲线下面积。然而，在实际应用中，有效的监控还需要确定一个良好的阈值，以将这些分数转化为有意义的二元决策。尽管阈值优化至关重要，但这一问题却鲜少受到关注。少数研究触及了这一问题，但它们通常假设运行时数据分布与训练分布一致，由于监控旨在保护系统免受潜在不可预见威胁的影响，这是一个强假设。在这项工作中，我们在多个图像数据集上进行了严谨的实验以调查：1. 监控在处理阈值调整期间不可获得的不可预见威胁时的有效性。2. 将通用威胁整合到阈值优化方案中是否能够增强监控的鲁棒性。