面向（弱）对数凹后验分布的随机 Langevin Monte Carlo 方法
机器学习
2023-01-10 v1 机器学习
概率论
统计计算
摘要
本文研究 [WT11] 中引入的随机 Langevin Monte Carlo 方法的连续时间版本，该方法在传统过阻尼 Langevin 扩散中加入了随机采样步骤。该方法在机器学习中常用于采样后验分布。我们的工作特别关注计算代价，涉及 n（生成后验分布的观测数）与 d（感兴趣参数所在环境空间的维数）。我们在弱凸框架下推导分析，该框架借助 Kurdyka-Łojasiewicz（KL）不等式进行参数化，可处理曲率消失的情形，相较于简单的强凸情形限制远为宽松。我们确定，在 Poisson 子采样参数 ( n ( d log^2(n) )^{1+r} )^{-1} 下，为获得 ε 近似（以熵度量）的最终模拟时界量级为 ( d log(n)^2 )^{(1+r)^2} [ log^2(ε^{-1}) + n^2 d^{2(1+r)} log^{4(1+r)}(n) ]，其中参数 r 出现在 KL 不等式中，取值介于 0（强凸情形）与 1（极限 Laplace 情形）之间。
引用
@article{arxiv.2301.03077,
title = {Stochastic Langevin Monte Carlo for (weakly) log-concave posterior distributions},
author = {Marelys Crespo Navas and Sébastien Gadat and Xavier Gendre},
journal= {arXiv preprint arXiv:2301.03077},
year = {2023}
}