采样与优化之间进一步且更强的类比：朗之万蒙特卡洛与梯度下降
统计理论
2017-07-31 v2 统计理论
摘要
在本文中，我们重新审视了近期建立的关于从光滑且（强）对数凹密度中采样的 Langevin Monte Carlo 算法收敛性的理论保证。我们在收敛性以 Wasserstein 距离度量时改进了现有结果，并进一步深入揭示了两方面——一方面用于采样的 Langevin Monte Carlo，另一方面用于优化的梯度下降——之间非常紧密的关系。最后，我们还建立了基于梯度噪声评估的 Langevin Monte Carlo 算法变体收敛性的保证。
引用
@article{arxiv.1704.04752,
title = {Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent},
author = {Arnak S. Dalalyan},
journal= {arXiv preprint arXiv:1704.04752},
year = {2017}
}
备注
Updated version of the COLT 2017 paper, some typos are corrected and Theorem 3 slightly improved