面向离散分布的 Rao-Blackwell 化随机梯度
机器学习
2019-05-14 v3 机器学习
摘要
我们希望计算一个在具有 个类别的有限或可数无限样本空间上的期望的梯度。当 确实为无限，或有限但非常大时，相关的求和是难以处理的。为此，人们提出了各种随机梯度估计量。在本文中，我们描述了一种可应用于任何此类估计量以降低其方差而不改变其偏差——特别地，无偏性得以保持——的技术。我们表明我们的技术是 Rao-Blackwell 化的一个实例，并展示了它在半监督分类问题和像素注意力任务上所产生的改进。
引用
@article{arxiv.1810.04777,
title = {Rao-Blackwellized Stochastic Gradients for Discrete Distributions},
author = {Runjing Liu and Jeffrey Regier and Nilesh Tripuraneni and Michael I. Jordan and Jon McAuliffe},
journal= {arXiv preprint arXiv:1810.04777},
year = {2019}
}
备注
Accepted to ICML 2019