GloCOM：基于全局聚类上下文的短文本神经主题模型
计算与语言
2025-01-24 v2
摘要
从稀疏数据中揭示隐藏主题对传统方法和神经模型来说都具有挑战性，这些数据由于数据稀疏性限制了词共现模式，以及由于目标重构不完整导致的标签稀疏性。虽然数据聚合提供了潜在解决方案，但现有的神经主题模型常常忽视这一点，原因在于时间复杂性、聚合质量较差以及难以为单个文档推断主题比例。在本文中，我们提出了一种新模型，GloCOM(Global Clustering COntexts for Topic Models)，通过为短文档构建聚合的全局聚类上下文来解决上述挑战，利用来自预训练语言模型的文本嵌入。GloCOM 可以推断用于聚类上下文的全局主题分布以及用于单个短文本的局部分布。此外，该模型将这些全局上下文纳入重建损失，以有效处理标签稀疏问题。大量实验表明，我们的方法在主题质量和文档表示方面均优于其他最先进的模型。
引用
@article{arxiv.2412.00525,
title = {GloCOM: A Short Text Neural Topic Model via Global Clustering Context},
author = {Quang Duc Nguyen and Tung Nguyen and Duc Anh Nguyen and Linh Ngo Van and Sang Dinh and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2412.00525},
year = {2025}
}
备注
Accepted to NAACL 2025