分布外检测是可学习的吗?
机器学习
2023-02-28 v3 机器学习
摘要
监督学习旨在训练一个分类器,其假设训练数据和测试数据来自同一分布。为了放宽上述假设,研究人员研究了一种更现实的设定:分布外 (OOD) 检测,其中测试数据可能来自训练期间未知的类别(即 OOD 数据)。由于 OOD 数据的不可用性和多样性,良好的泛化能力对于有效的 OOD 检测算法至关重要。为了研究 OOD 检测的泛化能力,在本文中,我们研究了 OOD 检测的概率近似正确 (PAC) 学习理论,该理论由研究人员作为一个开放问题提出。首先,我们找到了 OOD 检测可学习性的一个必要条件。然后,利用该条件,我们证明了在某些场景下 OOD 检测可学习性的几个不可能性定理。尽管不可能性定理令人沮丧,但我们发现这些不可能性定理的某些条件在某些实际场景中可能不成立。基于这一观察,我们接下来给出了若干充要条件来刻画某些实际场景中 OOD 检测的可学习性。最后,我们还基于我们的 OOD 理论为几种代表性的 OOD 检测工作提供了理论支持。
引用
@article{arxiv.2210.14707,
title = {Is Out-of-Distribution Detection Learnable?},
author = {Zhen Fang and Yixuan Li and Jie Lu and Jiahua Dong and Bo Han and Feng Liu},
journal= {arXiv preprint arXiv:2210.14707},
year = {2023}
}
备注
NeurIPS 2022 Outstanding Paper