中文

Stein-log-Sobolev 不等式与连续 Stein 变分梯度下降方法的指数收敛速率

偏微分方程分析 2024-12-16 v1 数值分析 数值分析 概率论 统计理论 统计理论

摘要

Stein 变分梯度下降方法(Stein Variational Gradient Descent)是一种变分推断方法,近年来受到了广泛关注。该方法通过引入具有核函数的非局部相互作用,提供目标分布的确定性近似。尽管该方法备受关注,但由于难以建立相关的所谓 Stein-log-Sobolev 不等式,其连续方法的指数收敛速率问题一直悬而未决。在此,我们证明该不等式对于任意空间维数以及所有其傅里叶变换在无穷远处具有二次衰减且局部有界远离零和无穷大的核函数均成立。此外,我们构造了相关偏微分方程的弱解,该解满足向平衡态指数衰减的速率。我们方法的主要新颖之处在于将 Stein-Fisher 信息(也称为平方 Stein 散度)解释为 H^{-1}(ℝ^d) 与 H^{1}(ℝ^d) 之间的对偶配对,这使我们能够利用傅里叶变换。我们还提供了若干 Stein-log-Sobolev 不等式不成立的核函数示例,部分证明了我们假设的必要性。

关键词

引用

@article{arxiv.2412.10295,
  title  = {The Stein-log-Sobolev inequality and the exponential rate of convergence for the continuous Stein variational gradient descent method},
  author = {José A. Carrillo and Jakub Skrzeczkowski and Jethro Warnett},
  journal= {arXiv preprint arXiv:2412.10295},
  year   = {2024}
}

备注

65 pages