MPTopic：通过掩码置换预训练改进主题建模
信息检索
2023-09-06 v1 机器学习
摘要
主题建模在识别文本中隐藏语义结构并生成有意义的描述性关键词方面至关重要。尽管 BERTopic 和 Top2Vec 等创新技术近期崭露头角，但它们存在一定局限。我们的分析表明，这些方法可能未优先优化其聚类机制，从而可能影响所得主题簇的质量。例如，Top2Vec 以聚类结果的质心代表主题，而 BERTopic 利用 C-TF-IDF 进行主题提取。为应对这些挑战，我们提出“TF-RDF”（词频-相对文档频率），一种评估文档中词语相关性的独特方法。基于 TF-RDF 的优势，我们提出 MPTopic，一种由 TF-RDF 洞见内在驱动的聚类算法。综合评估表明，MPTopic 与 TF-RDF 协同识别的主题关键词优于 BERTopic 和 Top2Vec 提取的关键词。
引用
@article{arxiv.2309.01015,
title = {MPTopic: Improving topic modeling via Masked Permuted pre-training},
author = {Xinche Zhang and Evangelos milios},
journal= {arXiv preprint arXiv:2309.01015},
year = {2023}
}
备注
12 pages, will submit to ECIR 2024