基于镜像 Stein 算子的采样
机器学习
2022-04-26 v3 机器学习
摘要
我们引入了一类适用于约束域和非欧几何的新粒子演化采样器。Stein 变分镜像下降和镜像 Stein 变分梯度下降通过在由镜像映射定义的对偶空间中演化粒子,最小化到约束目标分布的 Kullback-Leibler (KL) 散度。Stein 变分自然梯度利用非欧几何更有效地最小化到无约束目标的 KL 散度。我们从本文提出的一类新镜像 Stein 算子和自适应核推导出了这些采样器。我们证明了这些新采样器能准确近似单纯形上的分布,在选后推断中给出有效置信区间,并在大规模无约束后验推断中比先前方法收敛更快。最后,我们在目标分布的可验证条件下建立了新程序的收敛性。
引用
@article{arxiv.2106.12506,
title = {Sampling with Mirrored Stein Operators},
author = {Jiaxin Shi and Chang Liu and Lester Mackey},
journal= {arXiv preprint arXiv:2106.12506},
year = {2022}
}
备注
ICLR 2022; Source code: https://github.com/thjashin/mirror-stein-samplers