面向神经网络校准且可扩展的不确定性表示
机器学习
2019-12-05 v3 计算机视觉与模式识别
机器学习
摘要
对于许多应用而言，了解神经网络预测的不确定性至关重要。虽然已提出多种用于不确定性估计的神经网络参数估计方法，但它们尚未在不同不确定性度量下得到严格比较。我们评估了其中四种参数估计方法，使用四种不同的不确定性度量（熵、互信息、偶然不确定性和认知不确定性）来校准不确定性估计。我们使用期望校准误差评估这些参数估计方法的校准情况。此外，我们提出了一种称为 RECAST 的神经网络参数估计新方法，该方法将带预热重启的余弦退火与随机梯度朗之万动力学相结合，捕获更多样化的参数分布。在以损坏图像数据进行基准测试时，我们表明 RECAST 校准良好，并且当与预测熵和认知不确定性结合时，与近期方法相比，它提供了校准最佳的不确定性度量。
引用
@article{arxiv.1911.00104,
title = {Towards calibrated and scalable uncertainty representations for neural networks},
author = {Nabeel Seedat and Christopher Kanan},
journal= {arXiv preprint arXiv:1911.00104},
year = {2019}
}
备注
33rd Conference on Neural Information Processing Systems (NeurIPS 2019): 4th workshop on Bayesian Deep Learning, Vancouver, Canada