具有结构化推断网络的变分消息传递
机器学习
2018-06-15 v2
摘要
近期将深度模型与概率图模型相结合的尝试，在提供灵活且易解释的模型方面展现出前景。我们针对此类模型中的变分推断提出一种变分消息传递算法。我们作出三点贡献。首先，我们提出结构化推断网络，将图模型的结构嵌入变分自编码器（VAE）的推断网络中。其次，我们确立了此类推断网络能够实现类似于 VAE 的快速摊销推断的条件。最后，我们推导出一种变分消息传递算法，在执行高效自然梯度推断的同时保留摊销推断的效率。通过同时为深度结构化模型启用结构化、摊销及自然梯度推断，我们的方法简化并推广了现有方法。
引用
@article{arxiv.1803.05589,
title = {Variational Message Passing with Structured Inference Networks},
author = {Wu Lin and Nicolas Hubacher and Mohammad Emtiyaz Khan},
journal= {arXiv preprint arXiv:1803.05589},
year = {2018}
}
备注
Added a missing term in the gradient of the lower bound