持续神经主题模型
机器学习
2025-08-22 v1
摘要
在持续学习中，我们的目标是学习新的任务而不忘记以前学习的内容。在主题模型中，这意味着在不遗忘以前学习的主题的前提下学习新的主题模型。以前的工作要么考虑动态主题模型 (DTM)，即基于整个训练语料库一次性学习主题演化；要么考虑在线主题模型，即根据新数据持续更新，但缺乏长期记忆。为填补这一差距，我们提出了持续神经主题模型 (CoNTM)，该模型能够在后续时间步中持续学习主题模型而不遗忘以前学习的主题。这是通过一个持续更新的全局先验分布来实现的。在我们的实验中，CoNTM 在主题质量和预测 perplexity 方面 consistently 优于动态主题模型，同时能够在线捕捉主题变化。分析表明，CoNTM 能更好地学习更具多样性的主题，并更好地捕捉捕捉时间变化。
引用
@article{arxiv.2508.15612,
title = {Continual Neural Topic Model},
author = {Charu Karakkaparambil James and Waleed Mustafa and Marius Kloft and Sophie Fellenz},
journal= {arXiv preprint arXiv:2508.15612},
year = {2025}
}