具有层次先验的变分贝叶斯Dropout
机器学习
2019-04-05 v3 机器学习
摘要
变分dropout（VD）是Gaussian dropout的推广，旨在基于网络权重的对数均匀先验推断其 posterior，以同时学习这些权重和dropout率。对数均匀先验不仅解释了Gaussian dropout在网络训练中的正则化能力，还支撑了该后验的推断。然而，对数均匀先验是不恰当先验（即其积分为无穷），导致后验推断不适定，从而限制了VD的正则化性能。为解决此问题，我们提出Gaussian dropout的一种新推广，称为变分贝叶斯dropout（VBD），其转而利用网络权重上的层次先验并推断新的联合后验。具体而言，我们将层次先验实现为方差从均匀超先验中采样的零均值高斯分布。然后，我们将此先验纳入对层次先验中网络权重和方差的联合后验推断，使网络训练和dropout率估计均可化为一个联合优化问题。更重要的是，层次先验是恰当先验，使后验推断适定。此外，我们进一步表明所提VBD可无缝应用于网络压缩。在分类和网络压缩任务上的实验证明了所提VBD在正则化网络训练方面的优越性能。
引用
@article{arxiv.1811.07533,
title = {Variational Bayesian Dropout with a Hierarchical Prior},
author = {Yuhang Liu and Wenyong Dong and Lei Zhang and Dong Gong and Qinfeng Shi},
journal= {arXiv preprint arXiv:1811.07533},
year = {2019}
}
备注
Accepted by CVPR 2019