用神经网络扩展贝叶斯神经网络
统计计算
2024-11-13 v2
摘要
贝叶斯神经网络 (BNN) 为深度学习背景下的不确定性量化提供了一个有原则且自然的框架。它们解决了与传统深度学习方法相关的典型挑战,如数据不可满足性、临时性以及易过拟合。然而,它们的实现通常要么依赖于马尔可夫链蒙特卡洛 (MCMC) 方法(其特点是在高维空间中计算量大且效率低下),要么依赖于变分推断方法(往往会低估不确定性)。为了解决这个问题,我们提出了一种新颖的校准-模拟-采样 (CES) 策略,以显著提高 BNN 的计算效率。在这个框架中,在初始校准阶段,我们从参数空间中收集一小部分样本。这些样本作为模拟器的训练数据,模拟器近似参数与后验概率之间的映射。然后使用训练好的模拟器以远高于标准 BNN 的速度从后验分布中进行采样。使用模拟和真实数据,我们证明了我们提出的方法提高了 BNN 的计算效率,同时在预测精度和不确定性量化方面保持了相似的性能。
引用
@article{arxiv.2312.11799,
title = {Scaling Up Bayesian Neural Networks with Neural Networks},
author = {Zahra Moslemi and Yang Meng and Shiwei Lan and Babak Shahbaba},
journal= {arXiv preprint arXiv:2312.11799},
year = {2024}
}
备注
25 pages