论分布外检测的可学习性

监督学习旨在假设训练数据和测试数据来自相同分布的情况下训练分类器。为放宽上述假设，研究者研究了一个更现实的设置：分布外（OOD）检测，其中测试数据可能来自训练时未知的类别（即OOD数据）。由于OOD数据的不可获得性和多样性，良好的泛化能力对于有效的OOD检测算法至关重要，而相应的学习理论仍是一个开放问题。为了研究OOD检测的泛化性，本文研究了适合文献中常用评估指标的OOD检测的近似正确（PAC）学习理论。首先，我们发现了OOD检测可学习性的一个必要条件。然后，利用该条件，我们证明了在某些场景下OOD检测可学习性的几个不可能性定理。尽管这些不可能性定理令人沮丧，但我们发现这些定理的某些条件在实际场景中可能不成立。基于这一观察，我们接下来给出了几个充要条件来刻画某些实际场景中OOD检测的可学习性。最后，基于我们的OOD理论，为代表性的OOD检测工作提供了理论支持。