MCMC 是否存在 Nesterov 加速的类似物？
机器学习
2019-10-23 v2 机器学习
数值分析
数值分析
摘要
我们将基于梯度的马尔可夫链蒙特卡洛（MCMC）采样表述为概率测度空间上的优化，以 Kullback-Leibler（KL）散度为客观泛函。我们表明，欠阻尼形式的 Langevin 算法在该度量下执行加速梯度下降。为刻画算法的收敛性，我们构造了一个 Lyapunov 泛函并利用欠阻尼 Langevin 算法的亚 coercive 性（hypocoercivity）。作为一个应用，我们表明利用 Langevin 算法可为一类非凸函数获得加速收敛速率。
引用
@article{arxiv.1902.00996,
title = {Is There an Analog of Nesterov Acceleration for MCMC?},
author = {Yi-An Ma and Niladri Chatterji and Xiang Cheng and Nicolas Flammarion and Peter Bartlett and Michael I. Jordan},
journal= {arXiv preprint arXiv:1902.00996},
year = {2019}
}