迭代神经自回归分布估计器 (NADE-k)
机器学习
2014-12-09 v3 机器学习
摘要
神经自回归密度估计器 (NADE) 的训练可以看作是对数据中缺失值进行一步概率推断。我们提出了一种新模型，将该推断方案扩展到多步，认为学习在步中改进重构比学习在单步推断中重构更容易。所提出的模型是深度学习的一个无监督构建模块，结合了 NADE 和多预测训练的理想特性：(1) 其测试似然可以解析计算，(2) 易于从中生成独立样本，以及 (3) 使用了一个作为 Boltzmann 机变分推断超集的推断引擎。所提出的 NADE-k 在两个测试数据集上的密度估计方面具有与最先进水平相当的竞争力。
引用
@article{arxiv.1406.1485,
title = {Iterative Neural Autoregressive Distribution Estimator (NADE-k)},
author = {Tapani Raiko and Li Yao and Kyunghyun Cho and Yoshua Bengio},
journal= {arXiv preprint arXiv:1406.1485},
year = {2014}
}
备注
Accepted at Neural Information Processing Systems (NIPS) 2014