中文

Langevin Monte Carlo 在卡方与 Renyi 散度下的收敛性

机器学习 2021-07-09 v4 机器学习 概率论 统计计算

摘要

我们研究在势函数 ff 满足强耗散条件且为一阶光滑并具有 Lipschitz 梯度时,使用未调整 Langevin Monte Carlo (LMC) 算法从目标分布 ν=ef\nu_* = e^{-f} 采样。我们证明,以具有足够小方差的高斯随机向量初始化,迭代 LMC 算法 O~(λ2dϵ1)\widetilde{\mathcal{O}}(\lambda^2 d\epsilon^{-1}) 步足以在卡方散度和 Renyi 散度下达到目标的 ϵ\epsilon-邻域,其中 λ\lambdaν\nu_* 的对数 Sobolev 常数。我们的结果无需热启动来处理初始化时卡方散度中对指数维数的依赖。特别地,对于强凸且一阶光滑的势函数,我们证明 LMC 算法在相同假设下达到速率估计 O~(dϵ1)\widetilde{\mathcal{O}}(d\epsilon^{-1}),改进了先前已知的两类度量下的速率。将该速率转换到其他度量,我们的结果也在相同设定下恢复了 KL 散度、全变差与 22-Wasserstein 距离中的最优速率估计。最后,由于我们依赖对数 Sobolev 不等式,我们的框架涵盖了一类非凸势函数:其一阶光滑且在紧致区域外呈现强凸性。

关键词

引用

@article{arxiv.2007.11612,
  title  = {Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence},
  author = {Murat A. Erdogdu and Rasa Hosseinzadeh and Matthew S. Zhang},
  journal= {arXiv preprint arXiv:2007.11612},
  year   = {2021}
}

备注

v1: There was an error in the proof of Lemma 1. Authors thank Andre Wibisono for noticing this and letting us know. v2: Paper is updated with an opaque condition, in order not to mislead researchers. v3: Opaque condition in the previous version is proved under LSI and strong dissipativity. v4: Results on Renyi divergence are added