BERTopic在多领域短文本上泛化性的实验研究
计算与语言
2022-12-19 v1
摘要
主题建模被广泛用于分析评估大规模文本数据集合。最流行的主题技术之一是潜在狄利克雷分配（LDA），其灵活且适应性强，但对于例如来自不同领域的短文本并非最优。我们探究了最先进的BERTopic算法在多领域短文本上的表现，发现其在主题一致性与多样性方面比LDA泛化更好。我们进一步分析了BERTopic所采用的HDBSCAN聚类算法的性能，发现其将大多数文档分类为离群点。这一关键却常被忽视的问题将过多文档排除在后续分析之外。当我们用k-Means替换HDBSCAN时，取得了相近的性能，且无离群点。
引用
@article{arxiv.2212.08459,
title = {Experiments on Generalizability of BERTopic on Multi-Domain Short Text},
author = {Muriël de Groot and Mohammad Aliannejadi and Marcel R. Haas},
journal= {arXiv preprint arXiv:2212.08459},
year = {2022}
}
备注
Accepted poster presentation at WiNLP 2022, as a part of EMNLP 2022, 2 pages