Vprop：基于 RMSprop 的变分推断
机器学习
2017-12-05 v1 机器学习
摘要
许多计算高效的贝叶斯深度学习方法依赖于连续优化算法，但这些方法的实现需要对现有代码库进行显著改动。在本文中，我们提出 Vprop，一种高斯变分推断方法，可通过对手头现成的 RMSprop 优化器进行两处微小改动来实现。Vprop 还将 Black-Box Variational Inference 的内存需求减少了一半。我们利用共轭计算变分推断方法推导 Vprop，并建立其与牛顿法、自然梯度法及扩展卡尔曼滤波的联系。总体而言，本文提出 Vprop 作为一种有原则、计算高效且易于实现的贝叶斯深度学习方法。
引用
@article{arxiv.1712.01038,
title = {Vprop: Variational Inference using RMSprop},
author = {Mohammad Emtiyaz Khan and Zuozhu Liu and Voot Tangkaratt and Yarin Gal},
journal= {arXiv preprint arXiv:1712.01038},
year = {2017}
}