Stein变分梯度下降的非渐近分析
机器学习
2021-01-05 v4 机器学习
摘要
我们研究Stein变分梯度下降（SVGD）算法，该算法优化一组粒子以近似上的目标概率分布。在总体极限下，SVGD在关于的KL散度的概率分布空间中进行梯度下降，其中梯度通过核积分算子平滑。本文中，我们为SVGD算法提供新颖的有限时间分析。我们给出下降引理，确立算法在每次迭代降低目标，并给出平均Stein Fisher散度（亦称核Stein差异）的收敛速率。我们还给出对应于SVGD实际实现的有限粒子系统收敛至其总体版本的結果。
引用
@article{arxiv.2006.09797,
title = {A Non-Asymptotic Analysis for Stein Variational Gradient Descent},
author = {Anna Korba and Adil Salim and Michael Arbel and Giulia Luise and Arthur Gretton},
journal= {arXiv preprint arXiv:2006.09797},
year = {2021}
}
备注
Accepted to Neurips 2020