潜在时间序列模型的结构化黑盒变分推断
机器学习
2017-07-05 v1 机器学习
摘要
连续潜在时间序列模型在贝叶斯建模中非常普遍；例子包括卡尔曼滤波、动态协同过滤或动态主题模型。这些模型通常受益于结构化的、非平均场变分近似，以捕捉时间步之间的相关性。带有重参数化梯度的黑盒变分推断（BBVI）允许我们探索一类丰富的新型贝叶斯非共轭潜在时间序列模型；然而，将 BBVI 朴素地应用于此类结构化变分模型会在时间步数量上呈二次方扩展。我们描述了一种类似于前向 - 后向算法的 BBVI 算法，其在时间上呈线性扩展。它使我们能够从变分分布中高效采样并估计 ELBO 的梯度。最后，我们在最近提出的动态词嵌入模型上展示了结果，该模型是使用我们的方法训练的。
引用
@article{arxiv.1707.01069,
title = {Structured Black Box Variational Inference for Latent Time Series Models},
author = {Robert Bamler and Stephan Mandt},
journal= {arXiv preprint arXiv:1707.01069},
year = {2017}
}
备注
5 pages, 1 figure; presented at the ICML 2017 Time Series Workshop