潜在狄利克雷分配的变量选择
机器学习
2012-05-08 v1 机器学习
摘要
在潜在狄利克雷分配 (LDA) 中，主题是整个词汇表上的多项式分布。然而，词汇表通常包含许多与形成主题无关的单词。我们采用统计建模中广泛使用的一种变量选择方法作为降维工具，并将其与 LDA 相结合。在这种用于 LDA 的变量选择模型 (vsLDA) 中，主题是词汇表子集上的多项式分布，通过排除那些对发现语料库潜在主题结构无信息的单词，vsLDA 能够找到更具鲁棒性和判别力的主题。我们在留似然、MCMC 链一致性和文档分类方面比较了三种模型：vsLDA、具有对称先验的 LDA 和具有非对称先验的 LDA。vsLDA 的性能在似然和分类方面优于对称 LDA，在一致性和分类方面优于非对称 LDA，而在其他比较中表现相当。
引用
@article{arxiv.1205.1053,
title = {Variable Selection for Latent Dirichlet Allocation},
author = {Dongwoo Kim and Yeonseung Chung and Alice Oh},
journal= {arXiv preprint arXiv:1205.1053},
year = {2012}
}