先验感知对偶分解：谱主题模型的文档特定主题推断
计算与语言
2017-11-21 v1 信息检索
机器学习
摘要
谱主题建模算法作用于词共现统计的矩阵/张量以学习特定主题的词分布。这种方法去除了对原始文档的依赖，并在效率和可证明的主题推断上取得了实质性收益，但代价是：模型不再能提供关于单个文档主题构成的信息。近期提出的阈值线性逆(TLI)将每篇文档的观测词映射回其主题构成。然而，其线性特性在未考虑主题上的重要先验信息的情况下限制了推断质量。在本文中，我们评估了简单概率逆(SPI)方法以及能够并行学习文档特定主题构成的新颖先验感知对偶分解(PADD)。实验表明，PADD成功利用主题相关性作为先验，显著优于TLI，并学到了与Gibbs采样在各种数据上质量相当的主题构成。
引用
@article{arxiv.1711.07065,
title = {Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models},
author = {Moontae Lee and David Bindel and David Mimno},
journal= {arXiv preprint arXiv:1711.07065},
year = {2017}
}