区分最大化损失：通过替换损失与校准高效改进分布外检测与不确定性估计
机器学习
2022-08-09 v5 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
构建鲁棒的确定性神经网络仍具挑战。一方面，某些方法以在某些情况下降低分类准确率为代价来改进分布外检测。另一方面，某些方法同时提升分类准确率、不确定性估计和分布外检测，却以牺牲推理效率为代价。在本文中，我们提出使用我们的 DisMax 损失训练确定性神经网络，它可作为常用 SoftMax 损失（即线性输出层、SoftMax 激活与交叉熵损失之组合）的即插即用替代。从 IsoMax+ 损失出发，我们基于到所有原型的距离（而非仅与正确类关联的那个）来构造每个 logit。我们还引入一种组合图像以构建所谓分数概率正则化的机制。此外，我们提出一种训练后快速校准网络的方法。最后，我们提出一种复合分数来执行分布外检测。我们的实验表明，DisMax 通常在分类准确率、不确定性估计和分布外检测上同时优于当前方法，同时保持确定性神经网络的推理效率。复现结果的代码见 https://github.com/dlmacedo/distinction-maximization-loss。
引用
@article{arxiv.2205.05874,
title = {Distinction Maximization Loss: Efficiently Improving Out-of-Distribution Detection and Uncertainty Estimation by Replacing the Loss and Calibrating},
author = {David Macêdo and Cleber Zanchettin and Teresa Ludermir},
journal= {arXiv preprint arXiv:2205.05874},
year = {2022}
}