发现弱相关集合间主题相关性的快速灵活模型
计算与语言
2015-08-20 v1 信息检索
摘要
单个集合中具有不同主题数的文档集合之间的弱主题相关性，对现有的跨集合主题模型提出了挑战。本文引入两种概率主题模型：相关 LDA (C-LDA) 与相关 HDP (C-HDP)。它们解决了分析大规模、非对称且可能弱相关的集合时出现的问题。弱相关集合中的主题相关性通常位于主题分布的尾部，无法拟合大量主题数的模型会忽略此处。为了对大规模分析中的此长尾进行有效建模，我们的模型实现了基于 Metropolis-Hastings 与 alias 方法 (Yuan et al., 2015) 的并行采样算法。这些模型首先在合成数据上评估，该数据用于模拟各种集合级非对称性。随后我们给出对来自 JSTOR 的科学与人文研究集合中超过 300k 文档建模的案例研究。
引用
@article{arxiv.1508.04562,
title = {Fast, Flexible Models for Discovering Topic Correlation across Weakly-Related Collections},
author = {Jingwei Zhang and Aaron Gerow and Jaan Altosaar and James Evans and Richard Jean So},
journal= {arXiv preprint arXiv:1508.04562},
year = {2015}
}
备注
EMNLP 2015