生成随机网络的多模态转移
机器学习
2014-09-04 v4 机器学习
摘要
生成随机网络（GSNs）最近被引入，作为传统概率建模的一种替代方案：不再直接参数化数据分布，而是参数化一个马尔可夫链的转移算子，该马尔可夫链的平稳分布是数据生成分布的估计量。因此，训练的结果是一台通过此马尔可夫链生成样本的机器。然而，先前引入的 GSN 一致性定理表明，为了捕获广泛的分布类别，转移算子通常应为多模态的，这在本文之前尚未实现。我们首次为 GSN 引入了多模态转移分布，特别是使用 NADE 家族（神经自回归密度估计器）模型作为转移算子的输出分布。NADE 模型与 RBM 相关（因此可以建模多模态分布），但其似然（及似然梯度）易于计算。NADE 的参数作为所学习马尔可夫链前一状态的习得函数获得。实验清晰地展示了这种多模态转移分布相较于单模态 GSN 的优势。
引用
@article{arxiv.1312.5578,
title = {Multimodal Transitions for Generative Stochastic Networks},
author = {Sherjil Ozair and Li Yao and Yoshua Bengio},
journal= {arXiv preprint arXiv:1312.5578},
year = {2014}
}
备注
7 figures, 9 pages, submitted to ICLR14