投影 Stein 变分梯度下降
机器学习
2020-06-11 v2 机器学习
摘要
维度灾难是高位贝叶斯推断中长期存在的挑战。在本工作中，我们提出一种投影 Stein 变分梯度下降（pSVGD）方法，利用此类问题因不适定性而产生的数据信息子空间内在低维性的基本性质来克服这一挑战。我们使用对数似然的梯度信息矩阵自适应地构造子空间，并将 pSVGD 应用于参数投影的更低维系数。该方法被证明比 SVGD 更准确、更高效。通过参数维度从数百到数万的实验也表明，该方法在参数数量、样本数量、数据点数量以及处理器核心数量方面具有更好的可扩展性。
引用
@article{arxiv.2002.03469,
title = {Projected Stein Variational Gradient Descent},
author = {Peng Chen and Omar Ghattas},
journal= {arXiv preprint arXiv:2002.03469},
year = {2020}
}