拆解分布外检测：许多基于OOD训练数据的方法估计的是同一组核心量的组合
机器学习
2022-06-22 v1 计算机视觉与模式识别
摘要
在可信机器学习中，识别分布外（OOD）输入（即与分布内任务无关的输入）是一个重要问题。近年来已提出许多分布外检测方法。本文旨在识别不同OOD检测方法的共同目标，并明确其隐式打分函数。我们关注在训练期间使用替代OOD数据、以学习在测试时泛化到新的未见分布外数据的OOD检测分数这一子类方法。我们证明，分布内与（不同）分布外之间的二分类判别等价于分布外检测问题的若干不同表述。当与标准分类器以共享方式训练时，该二分类判别器达到与Outlier Exposure相近的OOD检测性能。此外，我们表明Outlier Exposure所使用的置信度损失具有一个隐式打分函数，在训练与测试分布外相同的情况下，该函数与理论最优打分函数存在非平凡差异，而后者又类似于训练基于能量的OOD检测器或添加背景类时所使用的打分函数。在实践中，当以完全相同的方式训练时，所有这些方法表现相似。
引用
@article{arxiv.2206.09880,
title = {Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities},
author = {Julian Bitterwolf and Alexander Meinke and Maximilian Augustin and Matthias Hein},
journal= {arXiv preprint arXiv:2206.09880},
year = {2022}
}