中文

流形上朗之万动力学的快速收敛:测地线与对数 Sobolev 不等式的交汇

机器学习 2020-12-08 v2 机器学习

摘要

采样是机器学习中一项基础且可以说非常重要的任务,有着众多应用。对于某个函数 ff,从高维分布 efe^{-f} 中采样的一种方法是朗之万算法(LA)。最近,在证明 LA 快速收敛方面取得了大量进展,即使在 ff 非凸的情况下也是如此,尤其是 [53]、[39],其中前者关注定义在 Rn\mathbb{R}^n 中的函数 ff,后者关注具有流形结构的对称函数(如矩阵补全类目标)。我们的工作推广了 [53] 的结果,其中 ff 定义在流形 MM 上而非 Rn\mathbb{R}^n。从技术角度看,我们证明了只要分布 efe^{-f}MM 上满足对数 Sobolev 不等式,KL 散度便以几何速率下降。

关键词

引用

@article{arxiv.2010.05263,
  title  = {Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev},
  author = {Xiao Wang and Qi Lei and Ioannis Panageas},
  journal= {arXiv preprint arXiv:2010.05263},
  year   = {2020}
}