随机 Stein 差异
机器学习
2020-10-26 v4 机器学习
概率论
统计方法学
摘要
Stein 差异（SDs）在精确积分与采样难以处理时，用于监测近似推断中的收敛与非收敛情况。然而，如果 Stein 算子（通常为似然项或势函数的求和）的求值代价高昂，则 Stein 差异的计算可能令人望而却步。为弥补这一不足，我们证明了基于 Stein 算子子采样近似的随机 Stein 差异（SSDs）以概率 1 继承了标准 SDs 的收敛控制性质。在此过程中，我们建立了 Stein 变分梯度下降（SVGD）在无界域上的收敛性，解决了 Liu（2017）的一个开放问题。在我们对有偏马尔可夫链蒙特卡洛（MCMC）超参数调优、近似 MCMC 采样器选择以及随机 SVGD 的实验中，SSDs 以少数个数量级的似然求值次数给出了与标准 SDs 相当的推断结果。
引用
@article{arxiv.2007.02857,
title = {Stochastic Stein Discrepancies},
author = {Jackson Gorham and Anant Raj and Lester Mackey},
journal= {arXiv preprint arXiv:2007.02857},
year = {2020}
}