基于深度架构镜像下降反向传播的LDA端到端学习
机器学习
2015-11-03 v2
摘要
我们提出了一种用于监督型潜在狄利克雷分配（LDA）模型的完全判别学习方法，使用反向传播（即BP-sLDA），其最大化给定输入文档时预测变量的后验概率。不同于传统的变分学习或吉布斯采样方法，所提出的学习方法应用（i）用于最大后验推断的镜像下降算法，以及（ii）在深度架构上的反向传播结合随机梯度/镜像下降进行模型参数估计，从而实现该模型的可扩展且端到端的判别学习。作为副产品，我们也应用该技术为传统的无监督LDA模型（即BP-LDA）开发了新的学习方法。在三个真实世界回归和分类任务上的实验结果表明，所提方法显著优于先前的监督主题模型、神经网络，并与深度神经网络性能相当。
引用
@article{arxiv.1508.03398,
title = {End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture},
author = {Jianshu Chen and Ji He and Yelong Shen and Lin Xiao and Xiaodong He and Jianfeng Gao and Xinying Song and Li Deng},
journal= {arXiv preprint arXiv:1508.03398},
year = {2015}
}
备注
Proc. NIPS 2015