基于指数族混合近似的快速简单自然梯度变分推断
机器学习
2020-11-09 v3 机器学习
摘要
自然梯度方法实现了快速且简单的变分推断算法，但由于计算困难，其使用大多局限于极小指数族（EF）近似。在本文中，我们将其应用扩展到估计结构化近似，例如EF分布的混合。此类近似能拟合复杂、多模态后验分布，且通常比单模态EF近似更准确。通过使用此类近似的极小条件-EF表示，我们推导了简单的自然梯度更新。我们的实证结果表明，与基于黑盒梯度且带重参数化梯度的方法相比，我们的自然梯度方法收敛更快。我们的工作拓展了自然梯度在贝叶斯推断中的适用范围，使其比以往更广泛适用。
引用
@article{arxiv.1906.02914,
title = {Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations},
author = {Wu Lin and Mohammad Emtiyaz Khan and Mark Schmidt},
journal= {arXiv preprint arXiv:1906.02914},
year = {2020}
}
备注
Corrected some typos and updated the appendix (ICML 2019)