基于粒子的变分推断与广义 Wasserstein 梯度流
机器学习
2023-10-26 v1 机器学习
摘要
基于粒子的变分推断方法（ParVIs），如 Stein 变分梯度下降（SVGD），基于 Kullback-Leibler（KL）散度的核化 Wasserstein 梯度流来更新粒子。然而，核的设计往往并非易事，并可能限制方法的灵活性。近期工作表明，带有二次型正则项的泛函梯度流近似可改善性能。本文提出一种称为广义 Wasserstein 梯度下降（GWG）的 ParVI 框架，其基于 KL 散度的广义 Wasserstein 梯度流，可视为一类由凸函数诱导的更宽泛正则化子的泛函梯度方法。我们证明 GWG 具有强收敛保证。我们还提供自动选择 Wasserstein 度量以加速收敛的自适应版本。实验中，我们在模拟与真实数据问题上展示了所提框架的有效性与高效性。
引用
@article{arxiv.2310.16516,
title = {Particle-based Variational Inference with Generalized Wasserstein Gradient Flow},
author = {Ziheng Cheng and Shiyue Zhang and Longlin Yu and Cheng Zhang},
journal= {arXiv preprint arXiv:2310.16516},
year = {2023}
}