用于函数不确定性的噪声对比先验
机器学习
2019-07-02 v3 机器学习
摘要
获得神经网络预测可靠的的不确定性估计是一个长期存在的挑战。贝叶斯神经网络已被提出作为一种解决方案，但如何指定其先验仍然是一个开放问题。特别是，权重空间中独立正态先验的常见做法对函数后验施加了相对较弱的约束，使其能够在训练分布之外的输入上以不可预见的方式泛化。我们提出噪声对比先验（NCPs）以获得可靠的不确定性估计。其核心思想是训练模型对训练分布之外的数据点输出高不确定性。NCPs 通过使用输入先验（向当前小批量的输入添加噪声）和输出先验（给定这些输入时的宽分布）来实现这一点。NCPs 与任何能够输出不确定性估计的模型兼容，易于扩展，并在整个训练过程中产生可靠的不确定性估计。在经验上，我们表明 NCPs 防止在训练分布之外过拟合，并产生对主动学习有用的不确定性估计。我们在航班延误数据集上展示了我们方法的可扩展性，显著改进了先前发表的结果。
引用
@article{arxiv.1807.09289,
title = {Noise Contrastive Priors for Functional Uncertainty},
author = {Danijar Hafner and Dustin Tran and Timothy Lillicrap and Alex Irpan and James Davidson},
journal= {arXiv preprint arXiv:1807.09289},
year = {2019}
}
备注
12 pages, 6 figures