相关主题模型的谱方法
机器学习
2016-11-15 v5 机器学习
摘要
在本文中，我们提出了有保证的谱方法，用于学习广泛的主题模型，这些模型推广了流行的隐狄利克雷分配（LDA）。我们通过假设隐藏的主题比例抽取自一类灵活的归一化无穷可分（NID）分布，克服了LDA无法纳入任意主题相关性的局限。NID分布通过对一组独立的无穷可分（ID）随机变量进行归一化过程生成。狄利克雷分布是通过归一化一组伽马随机变量得到的特例。我们证明，这一灵活的主题模型类可以仅使用至多三阶矩，以（低阶）多项式样本和计算复杂度通过谱方法学习。证明基于此处推导的一项关键新技术，该技术允许我们通过仅需计算单变量积分的高效过程对NID分布的矩进行对角化，尽管我们处理的是高维多元矩。为了评估我们提出的隐NID主题模型的性能，我们使用了从纽约时报和Pubmed收集的两个真实文章数据集。我们的实验在这两个数据集上相比基线取得了改进的困惑度。
引用
@article{arxiv.1605.09080,
title = {Spectral Methods for Correlated Topic Models},
author = {Forough Arabshahi and Animashree Anandkumar},
journal= {arXiv preprint arXiv:1605.09080},
year = {2016}
}