迈向对高斯-Stein 变分梯度下降动力学的理解

Stein 变分梯度下降（SVGD）是一种非参数的基于粒子的确定性采样算法。尽管其被广泛使用，理解 SVGD 的理论性质仍是一个具有挑战性的问题。对于从高斯目标采样，采用双线性核的 SVGD 动力学只要初始化为高斯就会保持高斯。受此事实启发，我们对高斯-SVGD（即通过双线性核将 SVGD 投影到高斯分布族，或等价地采用 SVGD 的高斯变分推断（GVI））进行了详细的理论研究。我们通过考虑平均场 PDE 与离散粒子系统给出了完整图景。当目标为强对数凹时，平均场高斯-SVGD 动力学被证明以线性速率收敛到在 KL 散度下最接近目标的高斯分布。在有限粒子情形下，若目标为高斯，则既有对平均场极限的一致时间收敛，也有对平衡态的线性时间收敛。在一般情形下，我们提出了基于密度与基于粒子的高斯-SVGD 实现，并表明近期从不同视角提出的若干 GVI 算法均作为我们统一框架的特例出现。有趣的是，该框架中的一个新基于粒子的实例在经验上优于现有方法。我们的结果对深化理解 SVGD 与 GVI 均作出了具体贡献。