关于近似贝叶斯推断中的批量归一化
机器学习
2020-12-25 v1 机器学习
摘要
我们在贝叶斯神经网络的变分推断方法（如平均场或MC Dropout）背景下研究批量归一化。我们证明批量归一化不影响证据下界（ELBO）的最优值。此外，我们研究了作为与MC Dropout平行的近似推断技术提出的蒙特卡洛批量归一化（MCBN）算法，并证明对于较大的批量大小，MCBN无法捕捉认知不确定性。最后，我们深入分析了修复此缺陷所需的条件，即必须将小批量大小视为MCBN中的变分参数。我们评论了ELBO相对于该变分参数的渐近性质，表明当数据集大小趋向无穷时，为使MCBN成为有效的近似推断技术，批量大小也必须趋向无穷。
引用
@article{arxiv.2012.13220,
title = {On Batch Normalisation for Approximate Bayesian Inference},
author = {Jishnu Mukhoti and Puneet K. Dokania and Philip H. S. Torr and Yarin Gal},
journal= {arXiv preprint arXiv:2012.13220},
year = {2020}
}