用于贝叶斯推断的黎曼 Stein 变分梯度下降
机器学习
2017-12-01 v1
摘要
我们开发了黎曼 Stein 变分梯度下降（RSVGD），一种将 Stein 变分梯度下降（SVGD）推广到黎曼流形的贝叶斯推断方法。其益处有两方面：(i) 对于欧几里得空间中的推断任务，RSVGD 相比 SVGD 具有利用信息几何的优势；(ii) 对于黎曼流形上的推断任务，RSVGD 将 SVGD 的独特优势带入黎曼世界。为恰当地迁移到黎曼流形，我们构思了新颖且非平凡的技术用于 RSVGD，这些技术是由一般黎曼流形与欧几里得空间内在不同的特性所要求的。我们还发现了黎曼 Stein 恒等式和黎曼核化 Stein 差异。实验结果表明，在探索分布几何方面优于 SVGD，并且在黎曼流形上相比其他推断方法具有粒子效率、迭代有效性和近似灵活性的优势。
引用
@article{arxiv.1711.11216,
title = {Riemannian Stein Variational Gradient Descent for Bayesian Inference},
author = {Chang Liu and Jun Zhu},
journal= {arXiv preprint arXiv:1711.11216},
year = {2017}
}
备注
12 pages, 2 figures, AAAI-18