微扰黑箱变分推断
机器学习
2018-01-09 v2 机器学习
摘要
基于重参数化梯度的黑箱变分推断（BBVI）引发了对除Kullback-Leibler（KL）散度之外的其他散度度量（如alpha散度）的探索。本文中，我们将使用广义散度的BBVI视为一种通过有偏重要性采样估计边际似然的方法。散度的选择决定了边际似然界紧致性（低偏差）与其梯度估计量方差之间的偏差-方差权衡。借助统计物理学的变分微扰理论，我们利用这些见解构建了一个新的变分界族。该族以奇数阶枚举，在时包含标准KL界，并在时收敛到精确的边际似然。与alpha散度相比，我们的重参数化梯度具有更低的方差。我们在高斯过程和变分自编码器上的实验表明，新界具有更强的质量覆盖性，所得后验协方差更接近真实后验，并在留出数据上产生更高的似然。
引用
@article{arxiv.1709.07433,
title = {Perturbative Black Box Variational Inference},
author = {Robert Bamler and Cheng Zhang and Manfred Opper and Stephan Mandt},
journal= {arXiv preprint arXiv:1709.07433},
year = {2018}
}
备注
In the proceedings of Advances in Neural Information Processing Systems (NIPS 2017)