深度残差神经网络中的不确定性量化
计算机视觉与模式识别
2020-07-10 v1
摘要
不确定性量化是深度学习中一个重要且具挑战性的问题。以往方法依赖于现代深度架构中不存在的dropout层,或对批量大小敏感的批量归一化。本工作中,我们通过使用一种称为随机深度的正则化技术,解决深度残差网络中的不确定性量化问题。我们表明,使用随机深度训练残差网络可解释为对贝叶斯神经网络中权值难解后验的变分近似。我们证明,通过从具有不同深度和共享权值的残差网络分布中采样,可获得有意义的不确定性估计。此外,与残差网络原始公式相比,我们的方法仅对网络结构做微小改动即产生校准良好的softmax概率。我们在流行的计算机视觉数据集上评估我们的方法,并度量不确定性估计的质量。我们还测试了对分布偏移的鲁棒性,表明我们的方法能够对分布外样本表达更高的预测不确定性。最后,我们展示了所提方法如何用于获取人脸验证应用中的不确定性估计。
引用
@article{arxiv.2007.04905,
title = {Uncertainty Quantification in Deep Residual Neural Networks},
author = {Lukasz Wandzik and Raul Vicente Garcia and Jörg Krüger},
journal= {arXiv preprint arXiv:2007.04905},
year = {2020}
}