深度神经网络的广义不确定性：分类与应用
机器学习
2023-02-06 v1 人工智能
摘要
深度神经网络在各种现实世界应用中取得了巨大成功。除了将其预测作为点估计之外，越来越多的注意力集中在量化其预测的不确定性上。在本综述中，我们表明深度神经网络的不确定性不仅在可解释性和透明性的意义上重要，而且在进一步提升其性能方面至关重要，特别是在追求鲁棒性和效率的学习系统中。我们将深度神经网络的不确定性广义地定义为与输入或输入-标签对相关联的任意数值或向量，并梳理出现有从深度模型中“挖掘”此类不确定性的方法。我们将涵盖来自不确定性量化经典领域的方法以及那些专门针对深度神经网络的方法。然后，我们展示了这种广义不确定性在现实学习任务中的广泛应用，包括鲁棒学习（如带噪学习、对抗鲁棒学习）、数据高效学习（如半监督和弱监督学习）以及模型高效学习（如模型压缩和知识蒸馏）。
引用
@article{arxiv.2302.01440,
title = {Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications},
author = {Chengyu Dong},
journal= {arXiv preprint arXiv:2302.01440},
year = {2023}
}