基于 Wasserstein 梯度流的离散 Langevin 采样器
机器学习
2023-02-24 v2
摘要
众所周知，连续空间上基于梯度的 MCMC 采样器（如 Langevin 蒙特卡洛（LMC））可推导为在 Wasserstein 流形上最小化 KL 散度的梯度流的粒子版本。此类采样器的优越效率促使近来若干工作尝试将 LMC 推广到离散空间。然而，由于样本空间中缺乏良定义的梯度，将 Langevin 动力学完全原则性地推广到离散空间尚未实现。在本工作中，我们展示 Wasserstein 梯度流如何自然推广到离散空间。给定所提公式，我们演示随后如何发展离散的 Langevin 动力学类比。借助这一新理解，我们揭示了近期离散空间中基于梯度的采样器如何通过选取特定离散化作为特例得到。更重要的是，该框架也允许推导新算法，其中之一为 \textit{Discrete Langevin Monte Carlo}（DLMC），通过对转移矩阵做因子化估计得到。DLMC 方法支持便捷的并行实现与时间一致采样，从而获得更大的跳跃距离。我们在多种二元与分类分布上展示了 DLMC 的优势。
引用
@article{arxiv.2206.14897,
title = {Discrete Langevin Sampler via Wasserstein Gradient Flow},
author = {Haoran Sun and Hanjun Dai and Bo Dai and Haomin Zhou and Dale Schuurmans},
journal= {arXiv preprint arXiv:2206.14897},
year = {2023}
}