S2WTM：面向主题建模的球面切向 Wasserstein 自编码器
计算与语言
2025-08-18 v1 人工智能
机器学习
摘要
在高维文本数据中捕获方向性相似性的隐含表示方面，采用超球面空间已证明有效，这有助于主题建模。基于变分自编码器的神经主题模型（VAE-NTM）通常采用 von Mises-Fisher 先验来编码超球面结构。然而，VAE-NTM 常常出现后验塌陷，即目标函数中 KL 散度项显著减小，导致隐含表示无效。为缓解此问题同时在隐含空间中建模超球面结构，我们提出了用于主题建模的球面切向 Wasserstein 自编码器（S2WTM）。S2WTM 采用支持于单位超球面上的先验分布，并利用球面切向 Wasserstein 距离将聚合后验分布与先验对齐。实验结果表明，S2WTM 在主题模型方面优于最先进的模型，生成更具连贯性和多样性的主题，同时在下游任务上实现更好的性能。
关键词
引用
@article{arxiv.2507.12451,
title = {S2WTM: Spherical Sliced-Wasserstein Autoencoder for Topic Modeling},
author = {Suman Adhya and Debarshi Kumar Sanyal},
journal= {arXiv preprint arXiv:2507.12451},
year = {2025}
}
备注
Accepted as a long paper for ACL 2025 main conference