中文

非凸和超线性设置下的投影朗之万蒙特卡洛算法

数值分析 2025-01-30 v4 数值分析 概率论

摘要

在许多应用中,基于朗之万随机微分方程 (SDEs) 的时间离散化,从高维目标分布 π\pi(其密度为 π(dx)eU(x)(dx)\pi(\text{d} x) \propto e^{-U(x)} (\text{d} x) )中采样具有重要的意义。在本文中,我们提出了一种显式投影朗之万蒙特卡洛 (PLMC) 算法,适用于非凸势 UUUU 的超线性梯度,并研究了其在全变差距离下的采样误差的非渐近分析。配备相关 Kolmogorov 方程的时间无关正则性估计,我们推导出了朗之万 SDEs 的目标分布与由 PLMC 方案诱导的律之间的全变差距离的非渐近界,其阶数为 O(dmax{3γ/2,2γ1}hlnh)\mathcal{O}(d^{\max\{3\gamma/2 , 2\gamma-1 \}} h |\ln h|),其中 dd 是目标分布的维数,γ1\gamma \geq 1 表征了 UU 的梯度增长。此外,如果 UU 的梯度是全局 Lipschitz 连续的,则基于 Malliavin 微积分技术的证明细化,推导出了经典朗之万蒙特卡洛 (LMC) 方案的改进收敛阶 O(d3/2h)\mathcal{O}(d^{3/2} h)。为了达到给定的精度 ϵ\epsilon,证明了 PLMC 算法所需的最小迭代次数阶数为 O(dmax{3γ/2,2γ1}ϵ ln(dϵ)ln(1ϵ)){\mathcal{O}}\big(\tfrac{d^{\max\{3\gamma/2 , 2\gamma-1 \}}}{\epsilon} \ \cdot \ln (\tfrac{d}{\epsilon}) \cdot \ln (\tfrac{1}{\epsilon}) \big)。特别是,具有非凸势 UU 和全局 Lipschitz 连续梯度的经典朗之万蒙特卡洛 (LMC) 方案可以保证达到 O(d3/2ϵln(1ϵ)){\mathcal{O}}\big(\tfrac{d^{3/2}}{\epsilon} \cdot \ln (\tfrac{1}{\epsilon}) \big) 的阶数。提供了数值实验以确认理论发现。

关键词

引用

@article{arxiv.2312.17077,
  title  = {Projected Langevin Monte Carlo algorithms in non-convex and super-linear setting},
  author = {Chenxu Pang and Xiaojie Wang and Yue Wu},
  journal= {arXiv preprint arXiv:2312.17077},
  year   = {2025}
}

备注

45 pages, 7 figures, 5 tables