修复贝叶斯神经网络的一个简单技巧
机器学习
2022-07-28 v1 机器学习
摘要
贝叶斯神经网络（BNN）中最流行的估计方法之一是平均场变分推断（MFVI）。在本文中，我们表明带有 ReLU 激活函数的神经网络会诱导出难以用 MFVI 拟合的后验。我们为这一现象提供了理论依据，对其进行了实证考察，并报告了一系列实验的结果以研究激活函数对 BNN 校准的影响。我们发现，使用 Leaky ReLU 激活函数会导致更像高斯分布的权重后验，并且比其基于 ReLU 的对应方法实现了更低的期望校准误差（ECE）。
引用
@article{arxiv.2207.13167,
title = {One Simple Trick to Fix Your Bayesian Neural Network},
author = {Piotr Tempczyk and Ksawery Smoczyński and Philip Smolenski-Jensen and Marek Cygan},
journal= {arXiv preprint arXiv:2207.13167},
year = {2022}
}