未调整凸光滑情形下 HMC 与欠阻尼朗之万过程的统一
概率论
2024-05-24 v5 统计理论
统计理论
摘要
我们考虑一类未调整的广义 HMC 采样器族,其包含标准位置 HMC 采样器与欠阻尼朗之万过程的离散化。在高斯情形下进行了参数详细分析与优化,表明相较于经典完全速度刷新,使用部分速度刷新可将条件数 对应的收敛速率从 提升至 。对于两种相关算法即 Metropolis 调整的 gHMC 与动力学分段确定性马尔可夫过程,也实证观察到类似效应。随后,考虑了采样器的随机梯度版本,针对其在较大参数范围内对对数凹光滑目标的维数无关收敛速率得以建立,将此前关于位置 HMC 与欠阻尼朗之万的结果统一于一个框架中,并将其扩展至带惯性的 HMC。
引用
@article{arxiv.2202.00977,
title = {HMC and underdamped Langevin united in the unadjusted convex smooth case},
author = {Nicolaï Gouraud and Pierre Le Bris and Adrien Majka and Pierre Monmarché},
journal= {arXiv preprint arXiv:2202.00977},
year = {2024}
}