BayesCap:面向冻结神经网络中校准不确定性的贝叶斯恒等帽
计算机视觉与模式识别
2022-07-15 v1 人工智能
摘要
高质量的校准不确定性估计对众多真实世界应用至关重要,尤其对于基于深度学习的已部署ML系统。尽管贝叶斯深度学习技术允许不确定性估计,但用大规模数据集训练它们是昂贵的过程,且并不总能产生与非贝叶斯对应模型竞争的模型。此外,许多已训练并部署的高性能深度学习模型本质上为非贝叶斯模型,不提供不确定性估计。为解决这些问题,我们提出BayesCap,其为冻结模型学习一个贝叶斯恒等映射,从而实现不确定性估计。BayesCap是一种内存高效方法,可在原始数据集的很小一部分上训练,通过为预测提供校准不确定性估计来增强预训练的非贝叶斯计算机视觉模型,且(i)不妨碍模型性能,(ii)无需从零昂贵地重新训练模型。所提方法对各种架构与任务不可知。我们在广泛任务与多样架构上展示了方法有效性,包括图像超分辨率、去模糊、修复以及如医学图像翻译等关键应用。此外,我们将导出的不确定性估计用于检测自动驾驶中深度估计等关键场景的分布外样本。代码见 https://github.com/ExplainableML/BayesCap。
引用
@article{arxiv.2207.06873,
title = {BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks},
author = {Uddeshya Upadhyay and Shyamgopal Karthik and Yanbei Chen and Massimiliano Mancini and Zeynep Akata},
journal= {arXiv preprint arXiv:2207.06873},
year = {2022}
}
备注
Accepted at ECCV 2022. Code is available at https://github.com/ExplainableML/BayesCap