基于局部近似的 Stein 变分梯度下降

贝叶斯计算在现代机器学习与统计中对于不确定性推理起着重要作用。贝叶斯推断中的一个关键计算挑战是开发高效技术来近似或从后验分布中抽样。Stein 变分梯度下降（SVGD）已被证明是解决此问题的强大近似推断算法。然而，原始 SVGD 需要计算目标密度的梯度，当梯度不可用或评估代价过高时便无法应用。本文探索一种应对该挑战的途径：构建目标的局部代理模型，使梯度能以计算上更可行的方式获得。更具体地，我们使用深度神经网络（DNN）近似前向模型，该网络在精心选择的训练集上训练，而训练集也决定了代理模型的质量。为此，我们提出一种通用自适应过程，在不破坏所得 SVGD 收敛性的前提下在线精炼局部近似。这显著降低了 SVGD 的计算成本，并带来一组易于实现的算法。新算法在一组具有挑战性的贝叶斯逆问题上进行了说明，数值实验表明标准 SVGD 的性能与适用性均有明显提升。