利用与建模嵌入的距离进行深度神经网络中的分布外样本检测
机器学习
2021-08-25 v1
摘要
在安全关键系统中采用深度学习，引发了在模型部署后理解深度神经网络不理解什么的需求。深度神经网络对于所谓的分布外样本（即来自训练集之外分布的样本）的行为是未定义的。已经提出了几种在预测时检测分布外样本的方法，但这些方法要么限制了神经网络架构或训练方式，要么存在性能开销，要么假设分布外样本的性质是先验已知的。我们提出了与建模嵌入的距离 (DIME) 方法，用于在预测时检测分布外样本。通过将训练集在特征空间中的嵌入近似为一个线性超平面，我们推导出了一种简单、无监督、高性能且计算高效的方法。DIME 允许我们在不改变架构或训练的情况下，为神经网络模型添加预测时的分布外样本检测功能，同时对其适用条件施加最小的约束。在我们的实验中，我们证明通过使用 DIME 作为训练后的附加组件，我们能在预测时高效地检测分布外样本，并达到最先进方法的水平，同时更具通用性且引入的计算开销可忽略不计。
引用
@article{arxiv.2108.10673,
title = {Out-of-Distribution Example Detection in Deep Neural Networks using Distance to Modelled Embedding},
author = {Rickard Sjögren and Johan Trygg},
journal= {arXiv preprint arXiv:2108.10673},
year = {2021}
}
备注
15 pages, 5 figures