变分拒绝采样
机器学习
2018-04-06 v1 人工智能
机器学习
神经与进化计算
摘要
当近似后验与真实后验相差甚远时，由于梯度估计的高方差，利用随机变分推断学习潜变量模型具有挑战性。我们提出了一种新颖的拒绝采样步骤，丢弃那些被模型赋予低似然的变分后验样本。我们的方法以额外的计算为代价，提供了对任意精确的真实后验近似。利用针对所得非归一化提议分布的新梯度估计量，在使用 sigmoid 信念网络在 MNIST 数据集上估计边际对数似然时，相较于最先进的单样本和多样本替代方法，我们分别实现了平均 3.71 nats 和 0.21 nats 的提升。
引用
@article{arxiv.1804.01712,
title = {Variational Rejection Sampling},
author = {Aditya Grover and Ramki Gummadi and Miguel Lazaro-Gredilla and Dale Schuurmans and Stefano Ermon},
journal= {arXiv preprint arXiv:1804.01712},
year = {2018}
}
备注
AISTATS 2018