中文

非凸情形下修正驯服非调整朗之万算法的非渐近收敛界

概率论 2024-06-13 v2 数值分析 数值分析 最优化与控制 统计理论 统计计算 统计理论

摘要

我们考虑利用基于朗之万随机微分方程(SDE)离散化的显式数值格式,从 Rd\mathbb{R}^d 上密度正比于 θeβU(θ)\theta\mapsto e^{-\beta U(\theta)} 的高维目标分布 πβ\pi_\beta 中采样的问题。在近期文献中,驯服(taming)被提出并研究作为一种在朗之万 SDE 的漂移系数超线性增长情形下保证基于朗之万的numerical格式稳定性的方法。特别地,[Bro+19] 中提出了驯服非调整朗之万算法(TULA)以从该梯度势能 UU 超线性增长的目标分布中采样。然而,基于朗之万算法在 Wasserstein 距离上的理论保证传统上是在假设势能 UU 强凸的条件下推导的。本文中,我们提出一种新颖的驯服因子,并在势能 UU 可能非凸且 UU 的梯度超线性增长的设定下,推导了我们的算法(命名为修正驯服非调整朗之万算法(mTULA))与目标分布 πβ\pi_\beta 之间在 Wasserstein-1 与 Wasserstein-2 距离上的非渐近理论界。对于 mTULA 在步长 λ\lambda 下的离散化误差,我们在 Wasserstein-1 与 Wasserstein-2 距离上分别获得了 O(λ)\mathcal{O}(\lambda)O(λ1/2)\mathcal{O}(\lambda^{1/2}) 的收敛速率。我们给出了支持理论发现的高维数值模拟,以展示算法的适用性。

关键词

引用

@article{arxiv.2207.02600,
  title  = {Non-asymptotic convergence bounds for modified tamed unadjusted Langevin algorithm in non-convex setting},
  author = {Ariel Neufeld and Matthew Ng Cheng En and Ying Zhang},
  journal= {arXiv preprint arXiv:2207.02600},
  year   = {2024}
}