大语言模型为传统主题建模方法提供了替代方案
计算与语言
2024-03-27 v2
摘要
主题建模作为一种成熟的无监督技术，已广泛用于自动检测文档语料库中的重要主题。然而，经典的主题建模方法（例如LDA）存在某些缺点，例如缺乏语义理解和主题重叠。在这项工作中，我们探索了大语言模型（LLM）作为揭示大规模文本语料库中潜在主题的替代方案的未开发潜力。为此，我们引入了一个框架，提示LLM从给定文档集中生成主题，并建立评估协议以评估LLM的聚类效果。我们的发现表明，具有适当提示的LLM可以成为一种可行的替代方案，能够生成相关的主题标题，并遵循人类指导来细化和合并主题。通过深入的实验和评估，我们总结了在主题提取中使用LLM的优势和局限性。
引用
@article{arxiv.2403.16248,
title = {Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling},
author = {Yida Mu and Chun Dong and Kalina Bontcheva and Xingyi Song},
journal= {arXiv preprint arXiv:2403.16248},
year = {2024}
}
备注
Accepted at LREC-COLING 2024