基于随机数据中心的单模型不确定性估计
机器学习
2022-12-05 v2 计算机视觉与模式识别
机器学习
摘要
我们关注深度神经网络的不确定性估计，其在许多科学与工程问题中起着重要作用。本文中，我们提出了一个引人注目的新发现：具有相同权重初始化、在经常数偏置平移的数据集上训练的一组神经网络会产生略微不一致的已训练模型，其中预测的差异是认知不确定性的强指示。利用神经正切核（NTK），我们证明该现象部分源于 NTK 不是平移不变的。由于这通过平凡的输入变换实现，我们表明该行为因此可通过训练单个神经网络来近似——使用一种我们称之为 UQ 的技术——其在推理时通过边缘化偏置的影响来估计预测周围的不确定性。我们表明 UQ 的不确定性估计在多种基准上优于许多现有方法——离群值拒绝、分布偏移下的校准以及黑盒函数的序贯设计优化。UQ 的代码可在 https://github.com/LLNL/DeltaUQ 获取。
引用
@article{arxiv.2207.07235,
title = {Single Model Uncertainty Estimation via Stochastic Data Centering},
author = {Jayaraman J. Thiagarajan and Rushil Anirudh and Vivek Narayanaswamy and Peer-Timo Bremer},
journal= {arXiv preprint arXiv:2207.07235},
year = {2022}
}
备注
Spotlight at NeurIPS 2022