Stein 变分梯度下降：一种通用贝叶斯推断算法
机器学习
2019-09-10 v3 机器学习
摘要
我们提出一种通用变分推断算法，它构成了优化中梯度下降的自然对应物。我们的方法通过应用一种最小化 KL 散度的函数梯度下降，迭代地传输一组粒子以匹配目标分布。我们在各种真实世界模型和数据集上进行了实证研究，我们的方法在与现有最先进方法的比较中具有竞争力。我们方法的推导基于一个新的理论结果，该结果将光滑变换下 KL 散度的导数与 Stein 恒等式以及最近提出的核化 Stein 差异联系起来，这一结果本身具有独立意义。
引用
@article{arxiv.1608.04471,
title = {Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm},
author = {Qiang Liu and Dilin Wang},
journal= {arXiv preprint arXiv:1608.04471},
year = {2019}
}
备注
To appear in NIPS 2016