ANTM:用于探索演化主题的对齐神经主题模型
信息检索
2023-06-06 v2 人工智能
机器学习
神经与进化计算
社会与信息网络
摘要
本文提出一类称为对齐神经主题模型(ANTM)的动态主题模型算法族,其结合新颖的数据挖掘算法,为发现演化主题提供模块化框架。ANTM 通过先进预训练大语言模型(LLMs)从文档中提取时间感知特征,并采用重叠滑动窗口算法进行序列文档聚类,从而维持演化主题的时间连续性。该重叠滑动窗口算法在每个时间帧内识别不同数量的主题,并跨时间段对齐语义相似的文档簇。此过程捕捉不同周期中的新兴与衰退趋势,并允许对演化主题进行更具可解释性的表示。在四个不同数据集上的实验表明,ANTM 在主题一致性与多样性指标上优于概率动态主题模型。此外,它通过可被不同类型算法访问和适配,提升了动态主题模型的可扩展性与灵活性。我们还开发了一个 Python 软件包,供希望研究大规模文本数据中主题趋势与演化模式的研究人员和科学家使用。
引用
@article{arxiv.2302.01501,
title = {ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics},
author = {Hamed Rahimi and Hubert Naacke and Camelia Constantin and Bernd Amann},
journal= {arXiv preprint arXiv:2302.01501},
year = {2023}
}