通过势景修正改进用于随机优化的 Langevin Monte Carlo
概率论
2023-02-09 v1 机器学习
最优化与控制
统计计算
机器学习
摘要
给定待最小化的目标函数 H,或在低温下待采样的目标 Gibbs 分布 π_β^0 ∝ e^{-β H},本文提出并分析了在由 H^f_{β,c,1} 指定的替代势景上运行、并以修正 Gibbs 分布 π^f_{β,c,1} ∝ e^{-β H^f_{β,c,1}} 为目标的 Langevin Monte Carlo(LMC)算法,其中 H^f_{β,c,1} 的势景是 H 势景的变换版本,依赖于参数 f、β 和 c。虽然与 π^0_β 相关的原始对数 Sobolev 常数在低温区间对 β 和能垒 M 均呈指数依赖,但在适当调节这些参数且对 H 作一定假设下,我们证明了变换后势景的能垒被降低,从而使得与 π^f_{β,c,1} 相关的修正对数 Sobolev 常数对 β 和 M 均呈多项式依赖。这给出了改进的总变差混合时间界以及向 H 全局最小值改进的收敛性。我们强调,本文发展的技术不仅限于 LMC,还广泛适用于其他基于梯度的优化或采样算法。
引用
@article{arxiv.2302.03973,
title = {Improved Langevin Monte Carlo for stochastic optimization via landscape modification},
author = {Michael C. H. Choi and Youjia Wang},
journal= {arXiv preprint arXiv:2302.03973},
year = {2023}
}
备注
30 pages