用于分布外检测的范数缩放
机器学习
2022-05-10 v1 计算机视觉与模式识别
摘要
分布外（OoD）输入是不属于数据集真实潜在分布的样本。研究表明深度神经网络会对OoD输入做出置信度错误的预测。因此，识别OoD输入对于深度神经网络的安全可靠部署至关重要。通常对相似性分数施加阈值以检测OoD输入。其中一种相似性是角度相似性，即潜表示与均值类表示的.dot积。角度相似性编码不确定性，例如若角度相似性较小，则输入属于该类的不确定性较大。然而我们观察到不同类的角度相似性分布不同。因此，对所有类应用单一阈值并不理想，因为相同相似性分数对不同类代表不同不确定性。本文提出范数缩放，其对每类的logits分别归一化。这确保单一数值对各种类一致地代表相似不确定性。我们表明，当范数缩放与最大softmax概率检测器结合使用时，相较先前最先进方法，在AUROC上提升9.78%、AUPR上提升5.99%、FPR95指标上降低33.19%。
引用
@article{arxiv.2205.03493,
title = {Norm-Scaling for Out-of-Distribution Detection},
author = {Deepak Ravikumar and Kaushik Roy},
journal= {arXiv preprint arXiv:2205.03493},
year = {2022}
}