利用对数几率归一化缓解神经网络过度自信
机器学习
2022-06-27 v2
摘要
检测分布外输入对于机器学习模型在现实世界中的安全部署至关重要。然而，已知神经网络存在过度自信问题，即对分布内与分布外输入均产生异常高的置信度。在本工作中，我们表明该问题可通过对数几率归一化（LogitNorm）——对交叉熵损失的一个简单修正——来缓解，其通过在训练中强制对数几率（logits）的常向量范数实现。我们的方法源于如下分析：对数几率的范数在训练中持续增长，导致过度自信的输出。因此，LogitNorm 背后的关键思想是在网络优化过程中解耦输出范数的影响。经 LogitNorm 训练后，神经网络在分布内与分布外数据间产生高度可区分的置信度分数。大量实验证明了 LogitNorm 的优越性，在常用基准上平均将 FPR95 降低多达 42.30%。
引用
@article{arxiv.2205.09310,
title = {Mitigating Neural Network Overconfidence with Logit Normalization},
author = {Hongxin Wei and Renchunzi Xie and Hao Cheng and Lei Feng and Bo An and Yixuan Li},
journal= {arXiv preprint arXiv:2205.09310},
year = {2022}
}
备注
Accepted by ICML 2022