中文

Stein梯度下降方法中粒子系统的收敛性与稳定性结果

偏微分方程分析 2023-12-29 v1 统计理论 统计理论

摘要

最近,对Stein梯度下降方法(一种确定性采样算法)的分析引起了广泛兴趣。它基于一个粒子系统,该粒子系统沿着Kullback-Leibler散度的梯度流运动,朝向对应于目标分布的渐近状态。数学上,该方法可以表述为时间tt和粒子数NN趋于无穷的联合极限。我们首先观察到,Lu, Lu和Nolen (2019)的近期工作表明,如果tloglogNt \approx \log \log N,则可以在Wasserstein距离下严格证明联合极限。不满足于这个时间尺度,我们通过研究方法的稳定性来探索更大时间下的行为:如果粒子初始时接近渐近状态(距离1/N\approx 1/N),它们能保持接近多久?我们证明这在代数时间尺度tNt \approx \sqrt{N}上成立,这显著更好。所采用的方法由Caglioti和Rousset为Vlasov方程开发,基于寻找线性化方程的函数不变量。这允许消除线性项并得到改进的Gronwall型估计。

关键词

引用

@article{arxiv.2312.16344,
  title  = {Convergence and stability results for the particle system in the Stein gradient descent method},
  author = {José A. Carrillo and Jakub Skrzeczkowski},
  journal= {arXiv preprint arXiv:2312.16344},
  year   = {2023}
}

备注

20 pages + the appendix