主题建模的可靠性

主题模型允许研究者从文本数据中提取潜在因子，并将这些变量用于下游统计分析。然而，由于初始化差异、采样过程中的随机性或噪声数据，这些方法可能存在显著差异。这些方法的可靠性尤为值得关注，因为许多研究者将学习到的主题模型视为后续分析的基准事实。在本工作中，我们表明量化主题模型可靠性的标准做法未能捕捉到两种广泛使用的主题模型中变异的本质方面。借鉴测量理论的丰富文献，我们对评估主题模型可靠性的三种其他指标进行了实证和理论分析。在合成数据和真实数据上，我们证明 McDonald's $\omega$ 提供了对可靠性的最佳概括。该指标为验证主题模型方法论提供了一个重要工具，应成为任何基于主题模型的研究的标准组成部分。