深度神经网络未知检测能力的统一基准
计算机视觉与模式识别
2023-08-02 v2 机器学习
摘要
深度神经网络在各种任务上取得了卓越性能，但存在一个关键问题：即使对完全未知的样品也会给出过度自信的预测。已有许多研究成功滤除这些未知样本，但它们仅考虑了狭窄且特定的任务，即误分类检测、开集识别或分布外检测。本文认为，这些任务从根本上应被视为同一问题，因为理想模型应对所有这些任务具备检测能力。因此，我们引入未知检测任务，作为先前独立任务的整合，以严格检验深度神经网络在广泛未知样本上的检测能力。为此，我们构建了不同规模的统一基准数据集，并对现有流行方法的未知检测能力进行比较。我们发现Deep Ensemble在未知检测上始终优于其他方法；然而，所有方法仅对特定类型的未知样本有效。可复现的代码与基准数据集见 https://github.com/daintlab/unknown-detection-benchmarks 。
引用
@article{arxiv.2112.00337,
title = {A Unified Benchmark for the Unknown Detection Capability of Deep Neural Networks},
author = {Jihyo Kim and Jiin Koo and Sangheum Hwang},
journal= {arXiv preprint arXiv:2112.00337},
year = {2023}
}
备注
Published in ESWA (https://www.sciencedirect.com/science/article/pii/S0957417423009636)