后验网络:基于密度的伪计数在无分布外样本情况下的不确定性估计
机器学习
2020-10-23 v2 机器学习
摘要
准确估计偶然不确定性和认知不确定性对于构建安全可靠的系统至关重要。传统方法(如 dropout 和集成方法)通过对不同子模型的概率预测进行采样来估计不确定性,这导致推理时不确定性估计缓慢。近期工作通过神经网络直接预测概率预测上先验分布的参数来解决这一缺陷。虽然该方法已展现出准确的不确定性估计,但它需要为分布内数据定义任意目标参数,并做出了在训练时已知分布外(OOD)数据这一不现实的假设。本工作中,我们提出后验网络(Posterior Network, PostNet),其使用归一化流(Normalizing Flows)为任意输入样本预测预测概率上的独立闭式后验分布。PostNet 学到的后验分布准确反映了分布内与分布外数据的不确定性——且无需在训练时访问 OOD 数据。PostNet 在 OOD 检测和数据集偏移下的不确定性校准中取得了最先进的结果。
引用
@article{arxiv.2006.09239,
title = {Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts},
author = {Bertrand Charpentier and Daniel Zügner and Stephan Günnemann},
journal= {arXiv preprint arXiv:2006.09239},
year = {2020}
}
备注
Neurips 2020