基于自然梯度的准黑盒变分推断及其在贝叶斯学习中的应用
机器学习
2022-12-13 v3 机器学习
计量经济学
摘要
我们开发了一种适用于复杂模型中贝叶斯学习的优化算法。我们的方法依赖于在通用黑盒框架内的自然梯度更新，以有限的模型特定推导实现高效训练。它适用于指数族变分后验分布类，我们详细讨论了高斯情形，其更新形式相当简单。我们的准黑盒变分推断（QBVI）框架可直接应用于广泛的贝叶斯推断问题，且实现简单，因为变分后验的更新不涉及关于模型参数的梯度，也不需要给定 Fisher 信息矩阵。我们在不同后验协方差矩阵假设下发展 QBVI，讨论其鲁棒且可行实现的细节，并提供若干真实世界应用以证明其有效性。
引用
@article{arxiv.2205.11568,
title = {Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning},
author = {Martin Magris and Mostafa Shabani and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2205.11568},
year = {2022}
}