对分布外样本检测器的较少偏倚评估
机器学习
2019-08-21 v2 计算机视觉与模式识别
机器学习
摘要
在现实世界中，学习系统可能接收到与训练期间所见完全不同的输入。不幸的是，分布外样本会导致不可预测的行为。我们需要知晓任意给定输入是否属于训练/评估数据的群体分布，以防止部署系统中的不可预测行为。近期对此问题的兴趣激增，推动了深度学习文献中复杂技术的发展。然而，由于缺乏标准问题定义或详尽评估，我们能否依赖这些方法并不明确。使该问题不同于典型监督学习设定的是：训练中所用离群点分布可能与应用中遇到的离群点分布不同。仅用两个数据集学习内部点与离群点的经典方法会产生乐观结果。我们引入 OD-test，一种三数据集评估方案，作为评估该问题进展的更可靠策略。我们对图像分类任务上来自相关领域的广泛方法进行了详尽评估。与已有结果相反，我们表明对于高维图像的实际情况，先前技术准确率低下且在实践中不可靠。
引用
@article{arxiv.1809.04729,
title = {A Less Biased Evaluation of Out-of-distribution Sample Detectors},
author = {Alireza Shafaei and Mark Schmidt and James J. Little},
journal= {arXiv preprint arXiv:1809.04729},
year = {2019}
}
备注
to appear in BMVC 2019; v2 is more compact, with more results