基于能量的分布外检测
机器学习
2021-04-27 v4 人工智能
摘要
判断输入是否为分布外（OOD）样本，是在开放世界中安全部署机器学习模型的基本构件。然而，先前依赖 softmax 置信度分数的方法对 OOD 数据存在过自信的后验分布问题。我们提出了一种使用能量分数进行 OOD 检测的统一框架。我们表明，能量分数比使用 softmax 分数的传统方法更能区分分布内与分布外样本。与 softmax 置信度分数不同，能量分数在理论上与输入的概率密度一致，并且较不易受过自信问题影响。在该框架内，能量可灵活用作任何预训练神经分类器的评分函数，也可用作可训练的损失函数以显式地塑造用于 OOD 检测的能量曲面。在 CIFAR-10 预训练的 WideResNet 上，使用能量分数相比 softmax 置信度分数将平均 FPR（在 TPR 95% 时）降低了 18.03%。通过基于能量的训练，我们的方法在常用基准上优于当前最优（state-of-the-art）方法。
引用
@article{arxiv.2010.03759,
title = {Energy-based Out-of-distribution Detection},
author = {Weitang Liu and Xiaoyun Wang and John D. Owens and Yixuan Li},
journal= {arXiv preprint arXiv:2010.03759},
year = {2021}
}