基于重要性权重的改进 Stein 变分梯度下降

Stein 变分梯度下降 (SVGD) 是一种用于各种机器学习任务的流行采样算法。众所周知，SVGD 源于 Kullback-Leibler 散度 $D_{KL}\left(\cdot\mid\pi\right)$ 的核化梯度流的离散化，其中 $\pi$ 为目标分布。在本工作中，我们提议通过引入重要性权重来增强 SVGD，从而得到一种新方法，我们将其命名为 $\beta$-SVGD。在连续时间与无限粒子情形下，该流收敛到平衡分布 $\pi$ 的时间（由 Stein Fisher 信息度量）对 $\rho_0$ 和 $\pi$ 的依赖极弱。这与 Kullback-Leibler 散度的核化梯度流非常不同，其后者的时间复杂度依赖于 $D_{KL}\left(\rho_0\mid\pi\right)$。在若干假设下，我们给出了总体极限 $\beta$-SVGD 的下降引理，其涵盖了当 $\beta\to 0$ 时总体极限 SVGD 的下降引理。我们还通过实验说明了 $\beta$-SVGD 相对于 SVGD 的优势。