宽贝叶斯神经网络具有简单权后验：理论与加速采样
机器学习
2022-06-16 v1 机器学习
摘要
我们引入重先验化（repriorisation），一种数据依赖的重参数化，它将贝叶斯神经网络（BNN）后验变换为一个与 BNN 先验的 KL 散度随层宽增大而消失的分布。重先验化映射直接作用于参数，其解析简洁性补充了宽 BNN 在函数空间中已知的神经网络高斯过程（NNGP）行为。利用该重先验化，我们开发了马尔可夫链蒙特卡洛（MCMC）后验采样算法，其混合速度随 BNN 变宽而加快。这与 MCMC 在高维中通常较差的表现形成对比。我们观察到，对于全连接网络和残差网络，相对于无重参数化有效样本量最高提升 50 倍。在各宽度下均取得改进，且重先验化 BNN 与标准 BNN 之间的差距随层宽增大而增长。
引用
@article{arxiv.2206.07673,
title = {Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling},
author = {Jiri Hron and Roman Novak and Jeffrey Pennington and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2206.07673},
year = {2022}
}
备注
ICML 2022