通过虚拟粒子随机近似实现可证明快速的SVGD有限粒子变体

Stein变分梯度下降（SVGD）是一种流行的变分推断算法，它模拟相互作用的粒子系统以从目标分布中近似采样，在各个领域具有令人印象深刻的经验性能。在理论上，其总体（即无限粒子）极限动力学已被充分研究，但SVGD在有限粒子 regime 下的行为却鲜为人知。在这项工作中，我们设计了两种计算高效的SVGD变体，即VP-SVGD和GB-SVGD，具有可证明的快速有限粒子收敛速率。我们引入虚拟粒子的概念，并在概率测度空间中开发了总体极限SVGD动力学的新型随机近似，这些近似可使用有限数量的粒子精确实现。我们的算法可视为SVGD的特定随机批次近似，在计算上比普通SVGD更高效。我们表明，在标准假设下，运行T步、批大小K的VP-SVGD和GB-SVGD输出的n个粒子，至少与从某个分布中抽取的独立同分布样本一样好，该分布与目标分布的核Stein差异（Kernel Stein Discrepancy）至多为O((d^{1/3}/(KT)^{1/6}))。我们的结果也在势函数的温和增长条件下成立，该条件比先前工作中通常考虑的类等周（例如Poincare不等式）或信息传输条件（例如Talagrand不等式T_1）弱得多。作为推论，我们考虑了（VP-SVGD和GB-SVGD输出的粒子的）经验测度到目标分布的收敛性，并展示出比已知最佳的SVGD有限粒子分析有双重指数级的改进。此外，我们的结果给出了该设定下首个具有多项式维度依赖的预言机复杂度。