SVGD 作为卡方散度的核化 Wasserstein 梯度流
统计理论
2020-06-05 v1 机器学习
统计理论
摘要
Stein 变分梯度下降（SVGD）是一种流行的采样算法，常被描述为在最优传输几何下 Kullback-Leibler 散度的核化梯度流。我们提出一种关于 SVGD 的新视角，将其视为卡方散度的（核化）梯度流；我们证明，在弱至 Poincaré 不等式的条件下，该散度展现出强形式的均匀指数遍历性。这一视角引导我们提出一种 SVGD 的替代方法，称为拉普拉斯调整 Wasserstein 梯度下降（LAWGD），其可从与目标密度相关的拉普拉斯算子的谱分解实现。我们证明 LAWGD 具有强收敛保证与良好的实际性能。
引用
@article{arxiv.2006.02509,
title = {SVGD as a kernelized Wasserstein gradient flow of the chi-squared divergence},
author = {Sinho Chewi and Thibaut Le Gouic and Chen Lu and Tyler Maunu and Philippe Rigollet},
journal= {arXiv preprint arXiv:2006.02509},
year = {2020}
}
备注
20 pages, 5 figures