循环神经网络时间序列模型与变分贝叶斯模型的等价性注记
机器学习
2016-06-21 v2
摘要
我们观察到，给定生成模型和推断模型的恰当选择，时间序列数据的循环神经网络（RNN）模型的标准对数似然训练目标等价于一个变分贝叶斯训练目标。这一视角可能启发对 RNN 和变分贝叶斯模型的扩展。我们提出了这样一种扩展，其中对 RNN 的隐藏状态使用多个粒子，从而允许对不确定性或多模态进行自然表示。
引用
@article{arxiv.1504.08025,
title = {Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models},
author = {Jascha Sohl-Dickstein and Diederik P. Kingma},
journal= {arXiv preprint arXiv:1504.08025},
year = {2016}
}