基于侧信息的主题分析：神经增强型 LDA 方法
机器学习
2025-11-04 v2 统计方法学
机器学习
摘要
传统主题模型如潜在 Dirichlet 分配 (LDA) 已被广泛用于揭示文本语料库中的潜在结构，但往往难以整合诸如元数据、用户属性或文档标签等辅助信息。这些限制限制了其表达力、个性化和可解释性。为此，我们提出 nnLDA，一种神经增强的概率主题模型，通过神经先验机制动态整合侧信息。nnLDA 将每个文档建模为潜在主题的混合物，其中主题比例的先验由条件于辅助特征的神经网络生成。这种设计允许模型捕捉侧信息与主题分布之间复杂的非线性相互作用，这些相互作用静态 Dirichlet 先验无法表示。我们发展了一种随机变分期望最大化算法，用于联合优化神经和概率组件。在多个基准数据集上，nnLDA 在主题连贯性、perplexity 和下游分类方面 consistently 优于 LDA 和 Dirichlet-Multinomial 回归。这些结果凸显了在侧信息可用的设置下，将神经表示学习与概率主题建模相结合的优势。
引用
@article{arxiv.2510.24918,
title = {Topic Analysis with Side Information: A Neural-Augmented LDA Approach},
author = {Biyi Fang and Truong Vo and Kripa Rajshekhar and Diego Klabjan},
journal= {arXiv preprint arXiv:2510.24918},
year = {2025}
}