一种 Stein 变分牛顿方法

Gianluca Detommaso; Tiangang Cui; Alessio Spantini; Youssef Marzouk; Robert Scheichl

一种 Stein 变分牛顿方法

机器学习 2018-10-31 v2 机器学习数值分析

作者: Gianluca Detommaso , Tiangang Cui , Alessio Spantini , Youssef Marzouk , Robert Scheichl

摘要

Stein 变分梯度下降（SVGD）最近被提出作为一种通用的非参数变分推断算法 [Liu & Wang, NIPS 2016]：它通过在再生核希尔伯特空间上实现一种函数梯度下降，来最小化目标分布与其近似之间的 Kullback-Leibler 散度。在本文中，我们通过引入二阶信息来加速并推广 SVGD 算法，从而近似函数空间中的类牛顿迭代。我们还展示了二阶信息如何导致更有效的核选择。我们在多个测试案例上观察到相对于原始 SVGD 算法的显著计算增益。

关键词

Stein 变分梯度下降变分推断牛顿方法再生核希尔伯特空间二阶信息核选择

引用

@article{arxiv.1806.03085,
  title  = {A Stein variational Newton method},
  author = {Gianluca Detommaso and Tiangang Cui and Alessio Spantini and Youssef Marzouk and Robert Scheichl},
  journal= {arXiv preprint arXiv:1806.03085},
  year   = {2018}
}

备注

18 pages, 7 figures

一种 Stein 变分牛顿方法

摘要

关键词

引用

备注

相关论文