基于经验贝叶斯的变分Dropout
机器学习
2018-11-29 v2 机器学习
摘要
我们研究了应用于深度神经网络的自适应相关性确定(ARD)过程。我们表明,将ARD应用于具有高斯近似后验分布的贝叶斯DNN会导致类似于变分dropout的变分界,并且在固定dropout率的情况下,目标函数完全相同。实验结果表明,即使dropout率被训练,这两种方法在实践中产生可比较的结果。这导致了dropout的一种替代性贝叶斯解释,并缓解了变分dropout模型中使用不适当先验所产生的一些理论问题。此外,我们探索了在ARD中使用层次先验,并表明它有助于在相同准确率下实现更高的稀疏性。
引用
@article{arxiv.1811.00596,
title = {Variational Dropout via Empirical Bayes},
author = {Valery Kharitonov and Dmitry Molchanov and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1811.00596},
year = {2018}
}