中文

Annealed Langevin Monte Carlo 方法在非对数凸抽样中的可证明优势

机器学习 2025-02-18 v2 机器学习 统计理论 统计计算 统计理论

摘要

我们考虑抽样问题,即从可能为非对数凸且具有多模态的未归一化密度分布进行抽样。为提高简单马可夫链蒙特卡罗(MCMC)方法的性能, Annealing 类技术被广泛应用。然而,这些技术的定量理论保证仍鲜有探索。本研究首次针对 Annealing MCMC 提供非渐近分析。具体而言,我们首次建立了简单 Annealing Langevin 蒙特卡罗算法在目标分布 πeV\pi\propto{\rm e}^{-V} 上的 Kullback-Leibler 发散误差达到 ε2\varepsilon^2 精度所需的 oracle 复杂度为 O~(dβ2A2ε6)\widetilde{O}\left(\frac{d\beta^2{\cal A}^2}{\varepsilon^6}\right)。 这里的 A{\cal A} 表示将目标分布 π\pi 与一个易于抽样分布插值得到的概率测度曲线的作用。

关键词

引用

@article{arxiv.2407.16936,
  title  = {Provable Benefit of Annealed Langevin Monte Carlo for Non-log-concave Sampling},
  author = {Wei Guo and Molei Tao and Yongxin Chen},
  journal= {arXiv preprint arXiv:2407.16936},
  year   = {2025}
}

备注

ICLR 2025 camera ready https://openreview.net/forum?id=P6IVIoGRRg