分析移除低频词对 LDA 模型主题质量的影响
计算与语言
2023-11-27 v1
摘要
文本作为数据应用中的初始步骤是文本预处理。其中一个典型步骤是移除被认为提供有限语料信息的低频词，可大幅简化计算。尽管词汇剪枝很流行，文献中可供参考的实现指南却不多。本文旨在通过考察移除低频词对使用潜在狄利克雷分配（Latent Dirichlet Allocation）估计的主题质量的影响来填补这一空白。该分析基于蒙特卡洛实验，考虑了不同的低频词移除准则和各种评估指标。结果表明剪枝是有益的，且可被消除的词汇占比可能相当可观。
引用
@article{arxiv.2311.14505,
title = {Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models},
author = {Victor Bystrov and Viktoriia Naboka-Krell and Anna Staszewska-Bystrova and Peter Winker},
journal= {arXiv preprint arXiv:2311.14505},
year = {2023}
}