认清局限：基于 ReLU 分类器的不确定性估计无法可靠检测分布外数据
机器学习
2021-06-11 v4 人工智能
摘要
对于安全关键应用中深度学习模型的可靠部署，一个关键要求是能够识别分布外（OOD）数据点，即与训练数据不同且模型可能表现不佳的样本。先前工作尝试使用不确定性估计技术解决此问题。然而，经验证据表明，这类技术中的很大一部分在分类任务中无法可靠检测 OOD。本文为上述实验发现提供了理论解释，并在合成数据上加以说明。我们证明，此类技术无法在分类设定中可靠识别 OOD 样本，因为其置信度水平被泛化到了特征空间中未见的区域。该结果源于 ReLU 网络作为分段仿射变换的表示、如 softmax 等激活函数的饱和特性，以及最广泛使用的不确定性度量之间的相互作用。
引用
@article{arxiv.2012.05329,
title = {Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection},
author = {Dennis Ulmer and Giovanni Cinà},
journal= {arXiv preprint arXiv:2012.05329},
year = {2021}
}