增强各向同性最大化损失：以简单替换SoftMax损失实现无缝高性能分布外检测
机器学习
2022-04-06 v9 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
当前的分布外检测方法通常提出特殊要求（如收集离群数据及超参数验证）并产生副作用（如分类精度下降及缓慢/低效推断）。近来，熵分布外检测被提出作为一种无缝方法（即避免上述所有缺陷的方案）。该熵分布外检测方案使用IsoMax损失进行训练，并使用熵分数进行分布外检测。IsoMax损失可作为SoftMax损失（即输出线性层、SoftMax激活与交叉熵损失的组合）的直接替换，因为将SoftMax损失换为IsoMax损失无需改动模型架构或训练流程/超参数。在本文中，我们对IsoMax损失中所用距离进行所谓等距化（isometrization）。此外，我们提出以最小距离分数替换熵分数。实验表明这些修改在保持方案无缝的同时显著提升了分布外检测性能。所提方案不仅与所有主要现有方法具竞争力或更优，且避免了它们当前的全部局限，同时因仅需简单替换损失以训练神经网络而更易使用。用于以IsoMax+损失替换SoftMax损失并复现结果的代码见 https://github.com/dlmacedo/entropic-out-of-distribution-detection。
引用
@article{arxiv.2105.14399,
title = {Enhanced Isotropy Maximization Loss: Seamless and High-Performance Out-of-Distribution Detection Simply Replacing the SoftMax Loss},
author = {David Macêdo and Teresa Ludermir},
journal= {arXiv preprint arXiv:2105.14399},
year = {2022}
}