黑盒变分推断的可证明梯度方差保证
机器学习
2019-10-29 v2 机器学习
摘要
近期的变分推断方法使用了方差尚不明确的随机梯度估计器。理解这些方法何时有效或无效，对这些估计器的理论保证十分重要。本文针对常见“重参数化”估计器，在目标光滑且变分族为位置-尺度分布时给出界。这些界不可改进，从而在所述假设下提供了可能的最优保证。
引用
@article{arxiv.1906.08241,
title = {Provable Gradient Variance Guarantees for Black-Box Variational Inference},
author = {Justin Domke},
journal= {arXiv preprint arXiv:1906.08241},
year = {2019}
}
备注
Neural Information Processing Systems (NeurIPS) 2019