分布外检测并非你所需的一切
机器学习
2023-01-16 v2 人工智能
计算机视觉与模式识别
图像与视频处理
摘要
深度神经网络在安全关键系统中的使用受到我们保证其正确行为能力的限制。运行时监视器是旨在识别不安全预测并在其导致灾难性后果之前将其丢弃的组件。近期若干关于运行时监视器的工作聚焦于分布外（OOD）检测，即识别与训练数据不同的输入。在本文中，我们认为 OOD 检测并非设计高效运行时监视器的合适框架，基于监视器丢弃错误预测的能力来评估它们更为相关。我们称此设定为模型范围外检测，并讨论其与 OOD 的概念差异。我们还在文献中的流行数据集上进行了大量实验，以表明在 OOD 设定下研究监视器可能产生误导：1. 非常好的 OOD 结果会给人虚假的安全感；2. 在 OOD 设定下的比较无法识别检测错误的最佳监视器。最后，我们还表明移除错误的训练数据样本有助于训练更好的监视器。
引用
@article{arxiv.2211.16158,
title = {Out-Of-Distribution Detection Is Not All You Need},
author = {Joris Guérin and Kevin Delmas and Raul Sena Ferreira and Jérémie Guiochet},
journal= {arXiv preprint arXiv:2211.16158},
year = {2023}
}