作为变分推断的含噪自然梯度
机器学习
2018-02-27 v2 机器学习
摘要
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是，在廉价但简单的变分族（例如完全因子化）与昂贵且复杂的推断过程之间存在权衡。我们证明，带有自适应权重噪声的自然梯度上升隐式地拟合变分后验以最大化证据下界（ELBO）。这一见解使我们能够分别使用含噪版本的自然梯度、Adam 和 K-FAC 来训练全协方差、完全因子化或矩阵变量高斯变分后验，从而使得扩展到现代尺寸的卷积网络成为可能。在标准回归基准上，我们的含噪 K-FAC 算法比现有方法做出更好的预测，并且比现有方法更好地匹配哈密顿蒙特卡洛的预测方差。其改进的不确定性估计在主动学习中导致更高效的探索，以及强化学习的内在动机。
引用
@article{arxiv.1712.02390,
title = {Noisy Natural Gradient as Variational Inference},
author = {Guodong Zhang and Shengyang Sun and David Duvenaud and Roger Grosse},
journal= {arXiv preprint arXiv:1712.02390},
year = {2018}
}