加速 Stein 变分梯度流的解析——关于广义双线性核的高斯目标分布分析

Stein 变分梯度下降( SVGD) 是一种基于核函数的、非参数的粒子方法，用于从目标分布(如贝叶斯推断及其他机器学习任务)进行采样。与其他粒子方法不同，SVGD 无需估计得分，即对数密度的梯度。然而，实际应用中，SVGD 通常比基于得分估计的采样算法要慢。为设计一种兼具 SVGD 优势且又高效、高维的采样算法，本文引入加速 SVGD( ASVGD)，其基于Nesterov 方法中的概率密度度量空间中的加速梯度流。随后，我们推导了一个基于动量的离散时间采样算法，该算法确定性地演化一组粒子。为稳定粒子位置更新，我们还包括 Wasserstein 度量正则化。本文扩展了会议版本 \cite{SL2025}。对于双线性核和高斯目标分布，我们研究了核参数和阻尼参数，证明所提出动力学具有最优收敛率。这通过在平衡处对线性化加速梯度流进行分析来实现。有趣的是，最优参数是一个常数，独立于目标分布的协方差。对于广义核函数(如高斯核)，数值示例显示，在各种目标分布下，ASVGD 相较于 SVGD 和其他流行采样方法具有有效性。此外，我们展示在贝叶斯神经网络的设置下，ASVGD 在对数似然和总迭代次数方面显著优于 SVGD。