中文

通过势景修正改进用于随机优化的 Langevin Monte Carlo

概率论 2023-02-09 v1 机器学习 最优化与控制 统计计算 机器学习

摘要

给定待最小化的目标函数 H,或在低温下待采样的目标 Gibbs 分布 π_β^0 ∝ e^{-β H},本文提出并分析了在由 H^f_{β,c,1} 指定的替代势景上运行、并以修正 Gibbs 分布 π^f_{β,c,1} ∝ e^{-β H^f_{β,c,1}} 为目标的 Langevin Monte Carlo(LMC)算法,其中 H^f_{β,c,1} 的势景是 H 势景的变换版本,依赖于参数 f、β 和 c。虽然与 π^0_β 相关的原始对数 Sobolev 常数在低温区间对 β 和能垒 M 均呈指数依赖,但在适当调节这些参数且对 H 作一定假设下,我们证明了变换后势景的能垒被降低,从而使得与 π^f_{β,c,1} 相关的修正对数 Sobolev 常数对 β 和 M 均呈多项式依赖。这给出了改进的总变差混合时间界以及向 H 全局最小值改进的收敛性。我们强调,本文发展的技术不仅限于 LMC,还广泛适用于其他基于梯度的优化或采样算法。

关键词

引用

@article{arxiv.2302.03973,
  title  = {Improved Langevin Monte Carlo for stochastic optimization via landscape modification},
  author = {Michael C. H. Choi and Youjia Wang},
  journal= {arXiv preprint arXiv:2302.03973},
  year   = {2023}
}

备注

30 pages