通过对抗生成离群点评估分布外检测器
密码学与安全
2022-08-24 v1 机器学习
摘要
可靠的评估方法对于构建鲁棒的分布外（OOD）检测器至关重要。当前 OOD 检测器的鲁棒性评估协议依赖于向离群数据注入扰动。然而，这些扰动不太可能自然发生或与数据内容无关，从而对鲁棒性提供有限的评估。本文中，我们提出用于 OOD 检测器的通过生成进行评估（EvG），一种在更真实的离群点变化模式下考察 OOD 检测器鲁棒性的新协议。EvG 利用生成模型合成合理的离群点，并采用 MCMC 采样寻找被检测器以最高置信度误分类为分布内的离群点。我们使用 EvG 对最先进 OOD 检测器的性能进行全面基准比较，揭示了先前被忽视的弱点。
引用
@article{arxiv.2208.10940,
title = {Evaluating Out-of-Distribution Detectors Through Adversarial Generation of Outliers},
author = {Sangwoong Yoon and Jinwon Choi and Yonghyeon Lee and Yung-Kyun Noh and Frank Chongwoo Park},
journal= {arXiv preprint arXiv:2208.10940},
year = {2022}
}
备注
Code release can be found at https://github.com/EvG-OOD/evaluation-via-generation