深度因子分析器混合模型
机器学习
2012-06-22 v1 机器学习
摘要
学习具有多层潜变量的高效深度密度模型的一种方法是逐层学习，每次使用仅含一层潜变量的模型。在学习每一层后，来自该层后验分布的样本被用作学习下一层的训练数据。这种方法通常与受限玻尔兹曼机（一种具有单隐藏层的无向图模型）一起使用，但它也可用于因子分析器混合模型（MFAs），后者是有向图模型。在本文中，我们提出了一种用于深度因子分析器混合模型 (DMFAs) 的贪婪逐层学习算法。尽管 DMFA 可以通过相乘不同层级的因子载荷矩阵转换为等效的浅层 MFA，但在 DMFA 中进行学习和推断要高效得多，且许多不同的高层 MFA 共享每个低层因子载荷矩阵防止了过拟合。我们在各种数据集上的实证研究表明，DMFA 学习的密度模型优于 MFA 以及两种类型的受限玻尔兹曼机。
引用
@article{arxiv.1206.4635,
title = {Deep Mixtures of Factor Analysers},
author = {Yichuan Tang and Ruslan Salakhutdinov and Geoffrey Hinton},
journal= {arXiv preprint arXiv:1206.4635},
year = {2012}
}
备注
ICML2012