用于多元Polya参数与主题模型增强推断的“Gibbs-Newton”技术
机器学习
2016-03-01 v2 计算与语言
机器学习
摘要
超参数在隐狄利克雷分配(LDA)的学习和推断过程中起着重要作用。为了开始LDA潜变量学习过程，需要预先确定这些超参数的值。我们提出了一种LDA的扩展，称为“隐狄利克雷分配吉布斯牛顿”(LDA-GN)，它对超参数施加非信息先验，并使用吉布斯采样来学习它们的适当值。LDA-GN的核心是我们提出的“Gibbs-Newton”算法，这是一种用于学习多元Polya分布参数的新技术。我们报告了Gibbs-Newton与后一任务的两种著名现有方法的性能比较：Minka固定点迭代方法和矩方法。然后我们通过两种方式评估LDA-GN：(i) 根据所得主题模型对未见过文档的泛化能力，将其与标准LDA进行比较；(ii) 在二分类任务上将其与标准LDA进行性能比较。
引用
@article{arxiv.1510.06646,
title = {A 'Gibbs-Newton' Technique for Enhanced Inference of Multivariate Polya Parameters and Topic Models},
author = {Osama Khalifa and David Wolfe Corne and Mike Chantler},
journal= {arXiv preprint arXiv:1510.06646},
year = {2016}
}