使用深度玻尔兹曼机对文档进行建模
机器学习
2013-09-27 v1 信息检索
机器学习
摘要
我们引入了一种深度玻尔兹曼机 (DBM) 模型，适用于从大量非结构化文档集合中建模和提取潜在语义表示。我们通过审慎的参数共享克服了训练 DBM 的明显困难。这种参数共享使得高效的预训练算法和有助于推断的状态初始化方案成为可能。该模型的训练效率与标准受限玻尔兹曼机相当。我们的实验表明，与复制 Softmax 模型相比，该模型为未见数据分配了更好的对数概率。从我们模型中提取的特征在文档检索和文档分类任务上优于 LDA、复制 Softmax 和 DocNADE 模型。
引用
@article{arxiv.1309.6865,
title = {Modeling Documents with Deep Boltzmann Machines},
author = {Nitish Srivastava and Ruslan R Salakhutdinov and Geoffrey E. Hinton},
journal= {arXiv preprint arXiv:1309.6865},
year = {2013}
}
备注
Appears in Proceedings of the Twenty-Ninth Conference on Uncertainty in Artificial Intelligence (UAI2013)