通过邻域聚合学习主题模型

主题模型因其高可解释性和模块化结构而频繁用于机器学习。然而，扩展主题模型以包含监督信号、融入预训练词嵌入向量以及包含非线性输出函数并非易事，因为必须诉诸高度复杂的近似推断过程。本文表明，带有预训练词嵌入向量的主题建模可被视为实现一种邻域聚合算法，其中消息通过定义在词上的网络传递。从主题模型的网络视角来看，节点对应于文档中的词，边对应于描述文档中共现词的关系或描述语料库中同一词的关系。该网络视角使我们能够以简单方式扩展模型以包含监督信号、融入预训练词嵌入向量以及包含非线性输出函数。在实验中，我们表明我们的方法在留出文档分类任务上优于最先进的监督式 Latent Dirichlet Allocation 实现。