非参数贝叶斯Pachinko分配
信息检索
2012-06-26 v1 机器学习
机器学习
摘要
主题模型的最新进展探索了复杂的结构化分布来表示主题相关性。例如，Pachinko分配模型（PAM）使用有向无环图（DAG）捕获主题之间任意的、嵌套的、且可能稀疏的相关性。虽然PAM比之前的模型（如潜在狄利克雷分配（LDA））提供了更大的灵活性和更强的表达能力，但为特定数据集确定合适的主题结构也更加困难。在本文中，我们基于层次狄利克雷过程（HDP）的一个变体，为PAM提出了一种非参数贝叶斯先验。尽管HDP可以捕获由嵌套数据结构定义的主题相关性，但它不能自动从非结构化数据中发现这些相关性。通过为PAM假设一个基于HDP的先验，我们能够同时学习主题的数量以及主题之间的相关性。我们在合成和真实文本数据集上评估了我们的模型，并表明非参数PAM在不手动调整主题数量的情况下达到了与最佳PAM相当的性能。
引用
@article{arxiv.1206.5270,
title = {Nonparametric Bayes Pachinko Allocation},
author = {Wei Li and David Blei and Andrew McCallum},
journal= {arXiv preprint arXiv:1206.5270},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-Third Conference on Uncertainty in Artificial Intelligence (UAI2007)