随机梯度MCMC中的变换
机器学习
2019-06-21 v2 机器学习
摘要
随机梯度朗之万动力学（SGLD）是针对大规模数据集进行贝叶斯后验推断的计算高效采样器。尽管SGLD是为无界随机变量设计的，许多实际模型包含具有边界的变量，例如非负变量或有限区间内的变量。为弥补这一差距，我们考虑将无界样本映射到目标区间。本文从理论和经验角度揭示，文献中常用的几种映射方法会产生错误的样本。我们表明，使用可逆Lipschitz映射函数进行随机变量变换克服了该缺陷，并达到弱收敛。实验证明了其在具有有界潜变量的广泛使用模型（包括贝叶斯非负矩阵分解和二值神经网络）上的有效性。
引用
@article{arxiv.1903.02750,
title = {On Transformations in Stochastic Gradient MCMC},
author = {Soma Yokoi and Takuma Otsuka and Issei Sato},
journal= {arXiv preprint arXiv:1903.02750},
year = {2019}
}