深度神经网络中的不确定性综述
机器学习
2022-01-20 v3 机器学习
摘要
随着神经网络日益普及，对其预测结果的置信度变得越来越重要。然而，基础神经网络不提供确定性估计，或存在过度自信与欠自信问题。许多研究者致力于理解和量化神经网络预测中的不确定性。由此，不同类型与来源的不确定性被识别出来，并提出多种测量和量化神经网络中不确定性的方法。本工作全面概述神经网络中的不确定性估计，回顾该领域最新进展，强调当前挑战，并识别潜在研究机会。旨在为任何关注神经网络不确定性估计的人提供广泛概览与入门，无需预设该领域先验知识。文中给出最关键不确定性来源的全面介绍，并呈现其分为可约减的模型不确定性与不可约减的数据不确定性。介绍了基于确定性神经网络、贝叶斯神经网络、神经网络集成和测试时数据增强方法对这些不确定性的建模，并讨论这些领域的不同分支及最新发展。为实际应用，我们讨论不同的不确定性度量、神经网络校准方法，并概述现有基线与方法实现。来自不同领域广泛挑战的不同示例给出了实际应用中关于不确定性的需求与挑战的概念。此外，讨论了当前方法在任务关键型与安全关键型现实应用中的实际局限，并展望了此类方法更广泛应用的下一步方向。
引用
@article{arxiv.2107.03342,
title = {A Survey of Uncertainty in Deep Neural Networks},
author = {Jakob Gawlikowski and Cedrique Rovile Njieutcheu Tassi and Mohsin Ali and Jongseok Lee and Matthias Humt and Jianxiang Feng and Anna Kruspe and Rudolph Triebel and Peter Jung and Ribana Roscher and Muhammad Shahzad and Wen Yang and Richard Bamler and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2107.03342},
year = {2022}
}