迈向可证明知晓自身不确定性的神经网络
机器学习
2020-02-24 v2 计算机视觉与模式识别
机器学习
摘要
最近的研究表明，ReLU 网络在远离训练数据的区域会产生任意过度自信的预测。因此，ReLU 网络并不知道它们何时处于未知状态。然而，在安全关键应用中，这是一个极为重要的性质。在分布外检测（OOD）的背景下，已有若干缓解该问题的方案，但均无法提供任何数学保证。本文提出一种克服上述两方面问题的 OOD 新方法。我们的方法可与 ReLU 网络配合使用，能够在远离训练数据时提供可证明的低置信度预测，并首次给出分布外点邻域内低置信度预测的证书。在实验中，我们表明最先进的方法在此最坏情况下失效，而我们的模型在保证性能的同时保持了最先进的 OOD 性能。
引用
@article{arxiv.1909.12180,
title = {Towards neural networks that provably know when they don't know},
author = {Alexander Meinke and Matthias Hein},
journal= {arXiv preprint arXiv:1909.12180},
year = {2020}
}