神经变分梯度下降
机器学习
2021-07-30 v2 统计计算
机器学习
摘要
基于粒子的近似贝叶斯推断方法，如 Stein 变分梯度下降（SVGD），将采样方法的灵活性与收敛保证同变分推断的计算优势结合起来。在实践中，SVGD 依赖于选择合适的核函数，这影响了其建模目标分布的能力——这是一个仅有启发式解的难题。我们提出神经变分梯度下降（NVGD），其基于用深度神经网络参数化 Stein 差异的见证函数，该网络的参数与推断并行学习，从而完全免除了进行任何核函数选择的必要。我们在流行的合成推断问题、真实世界的贝叶斯线性回归以及贝叶斯神经网络推断上对我们的方法进行了实证评估。
引用
@article{arxiv.2107.10731,
title = {Neural Variational Gradient Descent},
author = {Lauro Langosco di Langosco and Vincent Fortuin and Heiko Strathmann},
journal= {arXiv preprint arXiv:2107.10731},
year = {2021}
}