变分贝叶斯dropout：缺陷与修正
机器学习
2018-07-06 v1 机器学习
摘要
Dropout是一种用于神经网络训练的随机正则化技术，最近被重新解释为贝叶斯神经网络的一类特定近似推断算法。该重新解释的主要贡献在于提供了一个可用于分析和扩展算法的理论框架。我们表明所提出的框架存在若干问题：从不适当的先验相关的真实后验的未定义或病态行为，到由于近似分布相对于真实后验的奇异性导致的变分目标定义不良。我们对变分高斯dropout中使用的非适当对数均匀先验的分析表明，这些病态通常是不可补救的，并且该算法仍然有效只是因为变分表述消除了部分病态。为解决奇异性问题，我们提出Quasi-KL (QKL)散度，一种用于高维分布近似的新近似推断目标。我们表明基于离散化和噪声的变分Bernoulli dropout的动机以QKL为极限。我们从理论上以及一个简单实际例子研究了QKL的性质，该例子显示用退化高斯对满秩高斯进行QKL最优近似自然导出了主成分分析解。
引用
@article{arxiv.1807.01969,
title = {Variational Bayesian dropout: pitfalls and fixes},
author = {Jiri Hron and Alexander G. de G. Matthews and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1807.01969},
year = {2018}
}
备注
Extended version of the paper accepted to ICML 2018: more details in the proofs, few minor modifications