变分 Dropout 与局部重参数化技巧
机器学习
2015-12-22 v2 机器学习
统计计算
摘要
我们研究了一种局部重参数化技术，用于在保持可并行性的同时，大幅降低模型参数后验的变分贝叶斯推断（SGVB）中随机梯度的方差。该局部重参数化将全局参数的不确定性转化为在 minibatch 中数据点上独立的局部噪声。此类参数化可轻松并行化，且其方差与 minibatch 大小成反比，通常带来更快的收敛。此外，我们探索了与 dropout 的联系：高斯 dropout 目标对应于带有局部重参数化、尺度不变先验和比例固定后验方差的 SGVB。我们的方法允许推断更灵活参数化的后验；具体地，我们提出变分 dropout，即 dropout 率可学习的高斯 dropout 的推广，常能带来更好的模型。该方法通过若干实验进行了演示。
引用
@article{arxiv.1506.02557,
title = {Variational Dropout and the Local Reparameterization Trick},
author = {Diederik P. Kingma and Tim Salimans and Max Welling},
journal= {arXiv preprint arXiv:1506.02557},
year = {2015}
}