随机坐标朗之万蒙特卡洛
机器学习
2020-10-06 v1 机器学习
摘要
朗之万蒙特卡洛（LMC）是一种流行的马尔可夫链蒙特卡洛采样方法。一个缺陷是它每次迭代都需计算完整梯度，在问题维度较高时这是一项昂贵操作。我们提出一种新的采样方法：随机坐标 LMC（RC-LMC）。在每次迭代中，随机选取单个坐标，沿该方向的偏导数乘以某系数再加噪声进行更新，所有其他坐标保持不变。我们研究了 RC-LMC 的总复杂度，并将其与经典 LMC 在对数凹概率分布下进行比较。当对数密度的梯度为 Lipschitz 时，若高维问题的对数密度高度偏斜，则 RC-LMC 比经典 LMC 开销更低；当对数密度的梯度和 Hessian 均为 Lipschitz 时，RC-LMC 总是比经典 LMC 更便宜，便宜程度与问题维度的平方根成正比。在后一种情形中，我们的复杂度估计关于维度是紧的。
引用
@article{arxiv.2010.01405,
title = {Random Coordinate Langevin Monte Carlo},
author = {Zhiyan Ding and Qin Li and Jianfeng Lu and Stephen J. Wright},
journal= {arXiv preprint arXiv:2010.01405},
year = {2020}
}