预期意外:迈向广义分布外检测
机器学习
2024-12-11 v2 人工智能
计算机视觉与模式识别
摘要
提高已部署机器学习系统的可靠性通常涉及开发检测分布外(OOD)输入的方法。然而,现有研究往往狭隘地关注来自训练集中不存在的类的样本,忽视了其他类型的合理分布偏移。这一局限降低了这些方法在真实场景中的适用性,在真实场景中系统会遇到多种多样的异常输入。在本研究中,我们对五种不同的分布偏移类型进行分类,并严格评估近期 OOD 检测方法在每一类上的性能。我们以 BROAD(Benchmarking Resilience Over Anomaly Diversity)之名公开发布我们的基准。我们的发现揭示,尽管这些方法在检测未知类方面表现出色,但在遇到其他类型的分布偏移时性能并不稳定。换言之,它们仅可靠地检测其专门设计所预期的意外输入。作为迈向广义 OOD 检测的第一步,我们用高斯混合学习现有检测分数的生成模型。通过这样做,我们提出了一种集成方法,为广义 OOD 检测提供更一致且全面的解决方案,展现出优于现有方法的性能。我们用于下载 BROAD 并复现实验的代码已公开可用。
引用
@article{arxiv.2308.11480,
title = {Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection},
author = {Charles Guille-Escuret and Pierre-André Noël and Ioannis Mitliagkas and David Vazquez and Joao Monteiro},
journal= {arXiv preprint arXiv:2308.11480},
year = {2024}
}