Stein变分梯度下降与黑盒变分推断的等价性
机器学习
2020-04-07 v1 机器学习
摘要
我们形式化了贝叶斯推断中两种流行方法之间的等价性：Stein变分梯度下降（SVGD）和黑盒变分推断（BBVI）。特别地，我们证明了当核为神经正切核时，BBVI精确对应于SVGD。此外，我们将SVGD和BBVI解释为核梯度流；我们通过利用将SVGD视为概率分布空间中梯度流的最新视角，并证明BBVI自然地激发了该空间上的黎曼结构来实现这一点。我们观察到核梯度流也描述了生成对抗网络（GAN）训练中发现的动态。因此，这项工作统一了变分推断和生成建模中的几种现有技术，并确定了核作为控制这些算法行为的基本对象，从而激发了对其性质的深入分析。
关键词
引用
@article{arxiv.2004.01822,
title = {The equivalence between Stein variational gradient descent and black-box variational inference},
author = {Casey Chu and Kentaro Minami and Kenji Fukumizu},
journal= {arXiv preprint arXiv:2004.01822},
year = {2020}
}
备注
ICLR 2020, Workshop on Integration of Deep Neural Models and Differential Equations