变分 Dropout 稀疏化深度神经网络
机器学习
2017-06-14 v3 机器学习
摘要
我们探索了一种最近提出的变分 Dropout 技术，该技术为高斯 Dropout 提供了优雅的贝叶斯解释。我们将变分 Dropout 推广到 Dropout 率无界的情况，提出了一种降低梯度估计器方差的方法，并报告了每个权重具有单独 Dropout 率的首批实验结果。有趣的是，这在全连接层和卷积层中都导致了极度稀疏的解。这种效应类似于经验贝叶斯中的自动相关性确定效应，但具有若干优势。我们在 LeNet 架构上将参数数量减少了多达 280 倍，在类 VGG 网络上减少了多达 68 倍，而准确率几乎没有下降。
引用
@article{arxiv.1701.05369,
title = {Variational Dropout Sparsifies Deep Neural Networks},
author = {Dmitry Molchanov and Arsenii Ashukha and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1701.05369},
year = {2017}
}
备注
Published in ICML 2017