用于高效分布外检测的神经均值差异
机器学习
2022-03-29 v4
摘要
通过扩充模型、输入样本、训练集和优化目标，已有多种分布外（OOD）检测方法被提出。与现有工作不同，我们有一个简单的假设：标准现成模型可能已包含关于训练集分布的充足信息，可用于可靠的 OOD 检测。我们为验证该假设所做的实证研究中，测量了 OOD 与分布内（ID）小批次的模型激活均值，令人惊讶地发现 OOD 小批次的激活均值持续偏离训练数据更多。此外，训练数据的激活均值可离线高效计算，或作为“免费午餐”从批归一化层获取。基于这一观察，我们提出了一种称为神经均值差异（NMD）的新度量，它比较输入样本与训练数据的神经均值。利用 NMD 的简洁性，我们提出了一种高效的 OOD 检测器，通过标准前向传播后接轻量分类器来计算神经均值。大量实验表明，在检测精度与计算成本两方面，NMD 在多个数据集与模型架构上均优于最先进的 OOD 方法。
引用
@article{arxiv.2104.11408,
title = {Neural Mean Discrepancy for Efficient Out-of-Distribution Detection},
author = {Xin Dong and Junfeng Guo and Ang Li and Wei-Te Ting and Cong Liu and H. T. Kung},
journal= {arXiv preprint arXiv:2104.11408},
year = {2022}
}
备注
IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022