概率主题建模与 Transformer 表示
机器学习
2024-03-07 v1 计算与语言
摘要
主题建模在过去的十年里主要由贝叶斯图模型主导。然而，随着 Transformer 在自然语言处理中的兴起，一些依赖于基于 Transformer 嵌入空间中简单聚类方法的成功模型已出现并巩固了将主题视为嵌入向量聚类的概念。我们提出 Transformer-Representation Neural Topic Model (TNTM)，将基于 Transformer 嵌入空间中主题表示的优势与概率建模的优势相结合。因此，该方法将强大且灵活的基于 Transformer 嵌入的主题概念与如潜在 Dirichlet 分配 (LDA) 等模型中的完全概率建模相统一。我们采用变分自编码器 (VAE) 框架以提高推断速度和建模灵活性。实验结果表明，我们提出的模型在嵌入一致性方面与各种最新方法相当，同时保持近乎完美的主题多样性。相关源码已发布于 https://github.com/ArikReuter/TNTM。
引用
@article{arxiv.2403.03737,
title = {Probabilistic Topic Modelling with Transformer Representations},
author = {Arik Reuter and Anton Thielmann and Christoph Weisser and Benjamin Säfken and Thomas Kneib},
journal= {arXiv preprint arXiv:2403.03737},
year = {2024}
}