结构主题模型与 BERTopic 在短开放式调查响应中的比较评估
计算与语言
2026-05-25 v1 计算机与社会
摘要
应用心理学中的主题建模日益跨越两种方法学传统：概率袋装词模型和较新的嵌入基方法。然而，许多这些方法的评估依赖较长且更干净的基准语料，留下不少指引用于短开放式调查响应。本文比较了结构主题模型（STM），这是一种概率主题模型，和 BERTopic，这是一种基于嵌入的模型，用于分析开放式调查响应。我们评估了三种 STM 条件和五种 BERTopic 条件，变更字体型校正、提取词干、嵌入选择以及上下文增强—a strategy we introduced to provide additional semantic context for very short responses. 结果表明，BERTopic 在主题连贯性方面始终优于 STM，上下文增强 yield the strongest performance gains. 相比之下，更高维的嵌入alone 并未提高连贯性，反而与更大的数据丢失相关。定性评估显示，BERTopic 生成的主题更具可解释性和稳定性，而 STM 主题往往更宽泛且更混合。然而，STM 为推断性协变分析提供更强的支持，而 BERTopic 的协变比较主要是描述性的。这些发现表明 STM 和 BERTopic 提供互补的优势。我们随后为在应用社会科学研究中选择和组合主题建模方法提供实用指导。
引用
@article{arxiv.2605.23093,
title = {A Comparative Evaluation of Structural Topic Models and BERTopic for Short, Open-Ended Survey Responses},
author = {Yan Jiang and Sihong Liu and Philip A. Fisher},
journal= {arXiv preprint arXiv:2605.23093},
year = {2026}
}