利用深度神经网络从LDA中学习
机器学习
2015-08-06 v1 计算与语言
信息检索
神经与进化计算
摘要
隐狄利克雷分配(LDA)是一种用于主题推断的三级层次贝叶斯模型。尽管取得了巨大成功，利用LDA推断潜在主题分布仍耗时。受~\newcite{hinton2015distilling}提出的迁移学习方法的启发，我们提出一种新方法，使用LDA监督深度神经网络(DNN)的训练，从而DNN可以以更少的计算量近似昂贵的LDA推断。我们在文档分类任务上的实验表明，简单的DNN可以很好地学习LDA行为，同时推断速度提高了数十或数百倍。
引用
@article{arxiv.1508.01011,
title = {Learning from LDA using Deep Neural Networks},
author = {Dongxu Zhang and Tianyi Luo and Dong Wang and Rong Liu},
journal= {arXiv preprint arXiv:1508.01011},
year = {2015}
}