VarGrad：一种用于变分推断的低方差梯度估计器
机器学习
2020-10-30 v2 机器学习
统计理论
统计理论
摘要
我们基于带留一控制变量的得分函数方法，分析了变分推断中 ELBO 的一个无偏梯度估计器的性质。我们证明，该梯度估计器可通过一个新的损失获得，该损失定义为精确后验与变分近似之间对数比的方差，我们称之为 （对数方差损失）。在某些条件下，对数方差损失的梯度等于（负）ELBO 的梯度。我们从理论上证明，由于其与对数方差损失的联系而被称为 的该梯度估计器，在某些设定下比得分函数方法具有更低的方差，且留一控制变量系数接近最优系数。我们通过实验证明，在离散 VAE 上，与其他最先进的估计器相比，VarGrad 提供了更有利的方差-计算权衡。
引用
@article{arxiv.2010.10436,
title = {VarGrad: A Low-Variance Gradient Estimator for Variational Inference},
author = {Lorenz Richter and Ayman Boustati and Nikolas Nüsken and Francisco J. R. Ruiz and Ömer Deniz Akyildiz},
journal= {arXiv preprint arXiv:2010.10436},
year = {2020}
}