训练后神经网络上分布外检测的性能分析
机器学习
2022-04-27 v1 人工智能
摘要
在过去几年中，深度学习改善了多个领域。将深度神经网络用于非安全相关应用已取得显著成就；然而，要将深度神经网络用于安全关键应用，我们仍缺乏验证此类模型鲁棒性的方法。深度神经网络面临的一个常见挑战是，当暴露于其范围之外的分布外样本时，尽管对此类输入没有先验知识，却会产生高置信度的输出。在本文中，我们分析了在四种著名的深度神经网络架构上，三种用于区分分布内与分布外数据的方法（称为监督器）。我们发现，离群值检测性能随着模型质量的提高而提升。我们还通过在预定义间隔应用监督器来研究其在训练过程中的性能，以考察其性能随训练进行的变化。我们观察到，理解训练结果与监督器性能之间的关系对于提高模型的鲁棒性以及指示哪些输入样本需要采取进一步措施来增强深度神经网络的鲁棒性至关重要。此外，我们的工作为安全关键应用的安全论证工具铺平了道路。本文是我们先前在 2019 年 SEAA 会议上发表的工作（参见[1]）的扩展版本；在此，我们详细阐述了所使用的度量标准，增加了一个额外的监督器，并在两个额外的数据集上对它们进行了测试。
引用
@article{arxiv.2204.12378,
title = {Performance Analysis of Out-of-Distribution Detection on Trained Neural Networks},
author = {Jens Henriksson and Christian Berger and Markus Borg and Lars Tornberg and Sankar Raman Sathyamoorthy and Cristofer Englund},
journal= {arXiv preprint arXiv:2204.12378},
year = {2022}
}
备注
preprint. arXiv admin note: text overlap with arXiv:2103.15580