对数凹马尔可夫链链
机器学习
2023-10-02 v2 机器学习
统计计算
摘要
我们引入了一种基于平滑方案从非归一化密度中采样的理论框架，该方案使用具有单一固定噪声尺度的各向同性高斯核。我们证明可将从一个密度（对密度作极弱假设）中采样分解为通过等噪声水平噪声测量的累积、从对数凹条件密度中依次采样。我们的构造独特之处在于它跟踪样本历史，因而整体上非马尔可夫，但算法上轻量，因为历史仅以样本运行经验均值的形式出现。我们的采样算法推广了 walk-jump 采样（Saremi & Hyvärinen, 2019）。“walk”阶段成为（对数凹）马尔可夫链的一个（非马尔可夫）链。“jump”从累积测量中通过经验贝叶斯获得。我们使用 2-Wasserstein 度量定量研究我们的采样算法，并与各种 Langevin MCMC 算法比较。我们还报告了算法在分布模态间“隧穿”的显著能力。
引用
@article{arxiv.2305.19473,
title = {Chain of Log-Concave Markov Chains},
author = {Saeed Saremi and Ji Won Park and Francis Bach},
journal= {arXiv preprint arXiv:2305.19473},
year = {2023}
}