内存高效的主题建模

作为最简单的概率主题建模技术之一，潜在狄利克雷分配（LDA）在文本挖掘、计算机视觉和计算生物学中找到了许多重要应用。最近的LDA训练算法可以在统一的信念传播框架内解释。然而，信念传播需要存储先前的消息，占用大量内存空间，且随文档数或主题数线性增长。因此，高内存使用通常是包含大量主题的大规模语料库主题建模的主要问题。为了降低空间复杂度，我们提出了一种无需存储先前消息的LDA训练新算法：微信念传播（TBP）。TBP的基本思想是将信念传播算法与非负矩阵分解（NMF）算法联系起来，将消息更新吸收到消息传递过程中，从而避免存储先前消息。在四个大型数据集上的实验结果表明，TBP的性能与当前最先进的LDA训练算法相当甚至更好，但内存消耗更少。当大规模语料库无法装入计算机内存时，TBP可以进行主题建模，例如在具有2GB内存的普通台式计算机上从7GB的PUBMED语料库中提取主题。