用于采样的无Hessian高分辨率Nesterov加速
机器学习
2022-06-22 v4 数值分析
数值分析
机器学习
摘要
Nesterov加速梯度(NAG)用于优化时,在采用有限步长下比其连续时间极限(无噪声动力学Langevin)具有更好性能 \citep{shi2021understanding}。本工作探索该现象的采样对应,并提出一种扩散过程,其离散化可 yielding 加速的基于梯度的MCMC方法。更确切地说,我们将用于强凸函数的NAG优化器(NAG-SC)重新表述为无Hessian高分辨率ODE,将其高分辨率系数改为超参数,注入适当噪声,并离散化所得扩散过程。新超参数的加速效应被量化,且非由时间重标度制造的人为加速。相反,对于对数强凹且光滑的目标,在连续动力学层面与离散算法层面均在距离上定量确立了超越欠阻尼Langevin的加速。在对数强凹与多模态情形下的实证实验也在数值上展示了该加速。
引用
@article{arxiv.2006.09230,
title = {Hessian-Free High-Resolution Nesterov Acceleration for Sampling},
author = {Ruilin Li and Hongyuan Zha and Molei Tao},
journal= {arXiv preprint arXiv:2006.09230},
year = {2022}
}