用于分布外检测的层自适应深度神经网络
机器学习
2022-03-02 v1 人工智能
摘要
在深度神经网络(DNNs)的前向传播过程中,输入逐渐从低级特征转换为高级概念标签。虽然不同层的特征可以在不同层次上概括输入的重要因素,但现代分布外(OOD)检测方法大多侧重于利用其后端层特征。在本文中,我们提出了一种新颖的用于DNNs的层自适应OOD检测框架(LA-OOD),该框架能够充分利用中间层的输出。具体而言,我们不是在固定的末端层训练统一的OOD检测器,而是在中间层同时训练多个单类SVM OOD检测器,以利用DNNs不同深度编码的全频谱特征。我们开发了一种简单而有效的层自适应策略,用于识别检测每个潜在OOD样本的最佳层。LA-OOD可应用于任何现有的DNNs,并且在训练期间不需要访问OOD样本。使用三种不同深度和架构的DNNs,我们的实验表明,LA-OOD对具有不同复杂度的OOD具有鲁棒性,并且在某些真实世界数据集上大幅优于最先进的竞争对手。
引用
@article{arxiv.2203.00192,
title = {Layer Adaptive Deep Neural Networks for Out-of-distribution Detection},
author = {Haoliang Wang and Chen Zhao and Xujiang Zhao and Feng Chen},
journal= {arXiv preprint arXiv:2203.00192},
year = {2022}
}
备注
accepted in PAKDD 2022