通过一般偏差-方差分解实现预测的不确定性估计
机器学习
2023-04-24 v3 机器学习
摘要
在模型生命周期中可靠地估计预测的不确定性在许多安全关键应用中至关重要。衡量这种不确定性最常见的方式是通过预测置信度。虽然这对于域内样本往往效果良好，但这些估计在域漂移下不可靠且仅限于分类。或者，恰当分数可用于大多数预测任务，但当前文献中不存在针对模型不确定性的偏差-方差分解。在本工作中，我们引入了恰当分数的一般偏差-方差分解，由此产生作为方差项的Bregman信息。我们发现指数族与分类对数似然是特例并给出了新的表述。令人惊讶的是，我们能够在纯logit空间中表达分类情形。我们在若干下游任务上展示了该分解的实际相关性，包括模型集成与置信区域。此外，我们论证了实例级Bregman信息的不同近似如何实现对各种程度域漂移的可靠分布外检测。
引用
@article{arxiv.2210.12256,
title = {Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition},
author = {Sebastian G. Gruber and Florian Buettner},
journal= {arXiv preprint arXiv:2210.12256},
year = {2023}
}
备注
Accepted at AISTATS 2023