从以人为中心视角重新思考分布外检测
计算机视觉与模式识别
2022-12-01 v1
摘要
分布外（OOD）检测多年来受到广泛关注，旨在通过拒绝错误预测来确保深度神经网络（DNNs）在真实场景中的可靠性与安全性。然而，我们注意到常规评估与OOD检测的本质目的之间存在偏差。一方面，常规评估仅考虑由标签空间分布偏移引起的风险，而忽略了来自输入空间分布偏移的风险。另一方面，常规评估奖励那些不在验证数据集中拒绝误分类图像的检方法。然而，误分类图像同样会引发风险，理应被拒绝。我们呼吁从以人为中心的视角重新思考OOD检测：恰当的检测方法应拒绝深度模型预测与人类预期不符的情况，并采纳深度模型预测符合人类预期的情况。我们提出了一种以人为中心的评估，并在45个分类器和8个测试数据集上进行了广泛实验。我们发现简单的基线OOD检测方法可取得与近期提出的方法相当甚至更优的性能，这意味着过去几年OOD检测的发展可能被高估了。此外，我们的实验表明模型选择对OOD检测并非易事，应被视为所提方法的组成部分，这与现有工作声称所提方法跨不同模型通用的观点不同。
引用
@article{arxiv.2211.16778,
title = {Rethinking Out-of-Distribution Detection From a Human-Centric Perspective},
author = {Yao Zhu and Yuefeng Chen and Xiaodan Li and Rong Zhang and Hui Xue and Xiang Tian and Rongxin Jiang and Bolun Zheng and Yaowu Chen},
journal= {arXiv preprint arXiv:2211.16778},
year = {2022}
}
备注
Preprint version. Submitted to International Journal of Computer Vision