贝叶斯神经网络先验再探
机器学习
2022-03-17 v3 机器学习
摘要
各向同性高斯先验是现代贝叶斯神经网络推断的事实标准。然而,尚不清楚这些先验是否准确反映了我们对权重分布的真实信念,或是否能给出最优性能。为寻找更好的先验,我们研究了使用随机梯度下降(SGD)训练的神经网络的权重汇总统计量。我们发现卷积神经网络(CNN)和ResNet权重表现出强空间相关性,而全连接网络(FCNN)表现出重尾权重分布。我们表明,将这些观测纳入先验可以在多种图像分类数据集上带来性能提升。令人惊讶的是,这些先验缓解了FCNN中的冷后验效应,但略微增加了ResNet中的冷后验效应。
引用
@article{arxiv.2102.06571,
title = {Bayesian Neural Network Priors Revisited},
author = {Vincent Fortuin and Adrià Garriga-Alonso and Sebastian W. Ober and Florian Wenzel and Gunnar Rätsch and Richard E. Turner and Mark van der Wilk and Laurence Aitchison},
journal= {arXiv preprint arXiv:2102.06571},
year = {2022}
}
备注
Accepted at ICLR 2022