熵化分布外检测：未知样本的无缝检测
机器学习
2021-10-05 v3 计算机视觉与模式识别
机器学习
摘要
本文认为，神经网络不尽人意的分布外（OOD）检测性能主要源于 SoftMax 损失的各向异性及倾向于产生与最大熵原理相悖的低熵概率分布。当前的分布外（OOD）检测方法通常不直接修复 SoftMax 损失缺陷，而是构建技术以规避之。遗憾的是，那些方法常产生不期望的副作用（如分类精度下降、额外超参数、推理变慢及收集额外数据）。相反，我们提出以一种新的损失函数替代 SoftMax 损失，其不受上述弱点影响。所提出的 IsoMax 损失是各向同性的（仅基于距离）并提供高熵后验概率分布。以 IsoMax 损失替换 SoftMax 损失无需模型或训练改动。此外，用 IsoMax 损失训练的模型产生与 SoftMax 损失训练的模型同样快速且节能的推理，且未观察到分类精度下降。该方法不依赖离群/背景数据、超参数调优、温度校准、特征提取、度量学习、对抗训练、集成过程或生成模型。实验表明，IsoMax 损失可作为无缝的 SoftMax 损失替代，显著提升神经网络 OOD 检测性能，故可用作基线 OOD 检测方法，与现有或未来 OOD 检测技术结合以获更高结果。
引用
@article{arxiv.2006.04005,
title = {Entropic Out-of-Distribution Detection: Seamless Detection of Unknown Examples},
author = {David Macêdo and Tsang Ing Ren and Cleber Zanchettin and Adriano L. I. Oliveira and Teresa Ludermir},
journal= {arXiv preprint arXiv:2006.04005},
year = {2021}
}
备注
Accepted for publication in the IEEE Transactions on Neural Networks and Learning Systems: Special Issue on Deep Learning for Anomaly Detection