基于熵的离群分布检测
机器学习
2021-09-28 v9 计算机视觉与模式识别
机器学习
摘要
离群分布（OOD）检测方法通常提出特殊要求（例如超参数验证、离群数据收集）并产生副作用（例如分类精度下降、更慢且能效低的推理）。我们认为这些问题源于 SoftMax 损失的各向异性及其与最大熵原理的不一致。因此，我们提出 IsoMax 损失与熵分数。以 IsoMax 损失无缝替换 SoftMax 损失既不需要额外数据收集，也不需要超参数验证。训练后的模型不出现分类精度下降，且产生快速、能效高的推理。此外，我们的实验表明，用 IsoMax 损失训练神经网络可显著提升其 OOD 检测性能。在所述的快速能效推理、无分类精度下降、无离群数据收集、无超参数验证（我们称之为无缝 OOD 检测任务）条件下，IsoMax 损失表现出最先进的性能。在未来的工作中，当前的 OOD 检测方法可用 IsoMax 损失替代 SoftMax 损失，以改进其在通常研究的非无缝 OOD 检测问题上的性能。
引用
@article{arxiv.1908.05569,
title = {Entropic Out-of-Distribution Detection},
author = {David Macêdo and Tsang Ing Ren and Cleber Zanchettin and Adriano L. I. Oliveira and Teresa Ludermir},
journal= {arXiv preprint arXiv:1908.05569},
year = {2021}
}
备注
Accepted for publication in The International Joint Conference on Neural Networks (IJCNN), 2021