中文

斯坦变分梯度下降:多粒子与长时间渐近

机器学习 2021-02-26 v1 机器学习 数值分析 偏微分方程分析 数值分析 概率论 统计理论 统计理论

摘要

斯坦变分梯度下降(SVGD)指一类基于相互作用粒子系统的贝叶斯推断方法。在本文中,我们考虑最初提出的确定性动力学以及一个随机变体,它们分别代表了贝叶斯计算统计的两大主要范式:变分推断与马尔可夫链蒙特卡洛。事实证明,这两者通过根植于统计物理的梯度流结构与大偏差原理之间的对应而紧密关联。为揭示这一关系,我们发展了斯坦几何的余切空间构造,证明其基本性质,并确定了控制经验测度的多粒子极限的大偏差泛函。此外,我们识别出斯坦-费希尔信息(或核化斯坦差异)作为其在长时间与多粒子情形下以 Γ\Gamma-收敛意义为首的阶贡献,从而阐明 SVGD 的有限粒子性质。最后,我们建立了斯坦-费希尔信息与 RKHS-范数之间的比较原理,这或许具有独立的意义。

关键词

引用

@article{arxiv.2102.12956,
  title  = {Stein Variational Gradient Descent: many-particle and long-time asymptotics},
  author = {Nikolas Nüsken and D. R. Michiel Renger},
  journal= {arXiv preprint arXiv:2102.12956},
  year   = {2021}
}

备注

25 pages