多语言 Transformer 与 BERTopic 用于短文本主题建模：以塞尔维亚语为例
计算与语言
2024-02-06 v1 人工智能
摘要
本文展示了将最先进主题建模技术 BERTopic 首次应用于形态丰富的语言的短文本的研究结果。我们在两个层级的文本预处理（部分预处理和完全预处理）下，将 BERTopic 与三种多语言嵌入模型结合，评估其在部分预处理的塞尔维亚语短文本上的性能。我们还将其与在完全预处理文本上运行的 LDA 和 NMF 进行了比较。实验数据集由表达对 COVID-19 疫苗接种犹豫的推文组成。结果表明，在参数设置得当的情况下，即使应用于部分预处理的短文本，BERTopic 也能生成信息丰富的主题。当在两种预处理场景中应用相同参数时，部分预处理文本的性能下降微乎其微。与 LDA 和 NMF 相比，从关键词来看，BERTopic 提供了信息更丰富的主题，并且在不限定主题数量时能提供新颖的见解。本文的发现对于从事其他形态丰富且资源匮乏语言及短文本研究的研究人员具有重要意义。
引用
@article{arxiv.2402.03067,
title = {Multilingual transformer and BERTopic for short text topic modeling: The case of Serbian},
author = {Darija Medvecki and Bojana Bašaragin and Adela Ljajić and Nikola Milošević},
journal= {arXiv preprint arXiv:2402.03067},
year = {2024}
}