有向信念网络近似后验的迭代优化
机器学习
2018-02-21 v6 机器学习
摘要
依赖识别网络来近似有向图模型后验的变分方法，比以往方法提供了更好的推断与学习。利用该方法容量与灵活性的近期进展，扩展了可训练模型的种类。然而，作为后验的提议，识别网络的容量有限，这可能制约生成模型的表示能力并增加蒙特卡洛估计的方差。为解决这些问题，我们引入了一种迭代优化过程来改进识别网络的近似后验，并表明使用优化后的后验进行训练可与SOTA方法相竞争。优化的优势在有效样本量的增加中进一步显现，这意味着梯度估计的方差更低。
引用
@article{arxiv.1511.06382,
title = {Iterative Refinement of the Approximate Posterior for Directed Belief Networks},
author = {R Devon Hjelm and Kyunghyun Cho and Junyoung Chung and Russ Salakhutdinov and Vince Calhoun and Nebojsa Jojic},
journal= {arXiv preprint arXiv:1511.06382},
year = {2018}
}