用于分布外检测的单层预测归一化最大似然
机器学习
2021-10-19 v1 人工智能
摘要
检测分布外样本对于开发用于关键安全系统的机器学习模型至关重要。常见的OOD检测方法假设在训练期间可以获取某些OOD样本，这在现实场景中可能无法实现。相反，我们利用预测归一化最大似然学习器，该学习器不对测试输入做任何假设。我们推导了单层神经网络（NN）的pNML及其泛化误差（记为遗憾）的显式表达式。我们证明，当测试向量位于由训练数据经验相关矩阵的大特征值对应的特征向量所张成的子空间中，或者测试样本远离决策边界时，该学习器具有良好的泛化能力。此外，我们描述了如何通过将显式pNML应用于最后一层并接softmax函数，来高效地将推导出的pNML遗憾应用于任何预训练的深度NN。将推导出的遗憾应用于深度NN既不需要额外的可调参数，也不需要额外数据。我们在74个OOD检测基准上广泛评估了我们的方法，使用DenseNet-100、ResNet-34和WideResNet-40模型，并使用CIFAR-100、CIFAR-10、SVHN和ImageNet-30进行训练，结果表明相较于近期领先方法有高达15.6%的显著提升。
引用
@article{arxiv.2110.09246,
title = {Single Layer Predictive Normalized Maximum Likelihood for Out-of-Distribution Detection},
author = {Koby Bibas and Meir Feder and Tal Hassner},
journal= {arXiv preprint arXiv:2110.09246},
year = {2021}
}
备注
NeurIPS 2021