面向双随机目标的摊销方差缩减
机器学习
2020-03-26 v1 机器学习
统计方法学
摘要
深度高斯过程等复杂概率模型中的近似推断需要对双随机目标函数进行优化。这些目标函数同时包含来自数据小批量子采样与来自期望蒙特卡洛估计的随机性。若梯度方差较高，该随机优化问题将变得困难且收敛速度缓慢。控制变量可用于降低方差，但以往方法未考虑小批量随机性如何影响采样随机性，导致次优的方差缩减。我们提出一种新方法，利用识别网络以低廉代价近似每个小批量的最优控制变量，且无需额外的模型梯度计算。我们阐明了该方法的特性，并在逻辑回归与深度高斯过程上测试了其性能。
引用
@article{arxiv.2003.04125,
title = {Amortized variance reduction for doubly stochastic objectives},
author = {Ayman Boustati and Sattar Vakili and James Hensman and ST John},
journal= {arXiv preprint arXiv:2003.04125},
year = {2020}
}