无梯度的斯坦变分梯度下降
机器学习
2018-06-08 v1 机器学习
摘要
斯坦变分梯度下降（SVGD）已被证明是针对复杂分布的强大近似推断算法。然而，标准 SVGD 需要计算目标密度的梯度，在梯度不可得时无法应用。本工作中，我们开发了 SVGD 的无梯度变体（GF-SVGD），其用替代梯度取代真实梯度，并以适当形式对梯度重新加权以修正由此引起的偏差。我们表明，我们的 GF-SVGD 可视为选用了特殊核的标准 SVGD，因此直接继承了 SVGD 的理论性质。我们对替代梯度的经验选择提供了见解，并提出了一种退火 GF-SVGD，利用模拟退火的思想提升在高维复杂分布上的性能。实证研究表明，我们的方法持续优于若干近期先进的免梯度 MCMC 方法。
引用
@article{arxiv.1806.02775,
title = {Stein Variational Gradient Descent Without Gradient},
author = {Jun Han and Qiang Liu},
journal= {arXiv preprint arXiv:1806.02775},
year = {2018}
}
备注
ICML 2018