深度神经网络的不确定性量化：实证比较与使用指南
软件工程
2022-12-15 v1 机器学习
摘要
深度神经网络（DNN）正日益作为处理图像、文本、音视频信号等复杂数据的大型软件系统的组成部分。由于所处理的巨大输入空间、部分输入数据的模糊性，以及学习算法仅能提供统计保证的固有特性等原因，DNN 的预测不能假定总是正确的。因此，开发者必须应对一定的残差错误概率。管理易失效组件的一种常用架构模式是监督器（supervisor），即一个附加组件，可估计不可信（如 DNN）组件所作预测的可靠性，并在其可能失效时启动自动修复程序，从而确保基于深度学习的系统（DLS）不会造成损害，尽管其主要功能被暂停。本文考虑通过不确定性估计实现监督器的 DLS。在概述不确定性估计的主要方法并讨论其优劣之后，我们论证了需要一种特定的实证评估方法，以应对监督器所用的实验设定——在该设定中，只要监督器让 DLS 继续运行，DNN 的准确率才具有意义。随后我们提出了一项大型实证研究，以比较不同的不确定性估计方法。我们提炼出一组对开发者有用的指南，用于将基于不确定性监测的监督器整合进 DLS。
引用
@article{arxiv.2212.07118,
title = {Uncertainty Quantification for Deep Neural Networks: An Empirical Comparison and Usage Guidelines},
author = {Michael Weiss and Paolo Tonella},
journal= {arXiv preprint arXiv:2212.07118},
year = {2022}
}
备注
Accepted for publication at the Journal of Software: Testing, Verification and Reliability. arXiv admin note: substantial text overlap with arXiv:2102.00902