贝叶斯神经网络中可解析处理的隐状态推断
机器学习
2021-07-09 v1 机器学习
摘要
除少数例外，神经网络一直依赖反向传播和梯度下降作为推断引擎来学习模型参数，因为神经网络的闭式贝叶斯推断被认为难以处理。在本文中，我们展示了如何利用可处理的近似高斯推断（TAGI）的能力来推断隐状态，而不仅仅是将其用于推断网络参数。它允许的一个新颖方面是通过施加旨在实现特定目标的约束来推断隐状态，这通过三个例子加以说明：（1）对抗攻击样本的生成，（2）将神经网络用作黑盒优化方法，以及（3）在连续动作强化学习上的推断应用。这些应用展示了先前专属于基于梯度优化方法的任务，如今可以通过可解析处理的推断来解决。
引用
@article{arxiv.2107.03759,
title = {Analytically Tractable Hidden-States Inference in Bayesian Neural Networks},
author = {Luong-Ha Nguyen and James-A. Goulet},
journal= {arXiv preprint arXiv:2107.03759},
year = {2021}
}
备注
37 pages, 13 figures