vONTSS：基于 vMF 的半监督神经主题建模与最优传输
机器学习
2023-10-24 v2 人工智能
计算与语言
信息论
math.IT
摘要
近年来，受变分自编码器启发的神经主题模型（NTM）引起了大量研究关注；然而，由于融入人类知识的挑战，这些方法在现实世界中的应用有限。本文提出一种半监督神经主题建模方法 vONTSS，其使用基于 von Mises-Fisher（vMF）的变分自编码器和最优传输。当每类主题提供少量关键词时，半监督设定下的 vONTSS 生成潜在主题并优化主题-关键词质量与主题分类。实验表明，vONTSS 在分类准确率和多样性上优于现有半监督主题建模方法。vONTSS 也支持无监督主题建模。定量与定性实验表明，无监督设定下的 vONTSS 在多个方面优于近期 NTM：vONTSS 在基准数据集上发现高度聚类且连贯的主题。同时，在取得相似分类性能的同时，其速度远快于最先进的弱监督文本分类方法。我们进一步证明了最优传输损失与交叉熵损失在全局最小值处的等价性。
引用
@article{arxiv.2307.01226,
title = {vONTSS: vMF based semi-supervised neural topic modeling with optimal transport},
author = {Weijie Xu and Xiaoyu Jiang and Srinivasan H. Sengamedu and Francis Iannacci and Jinjin Zhao},
journal= {arXiv preprint arXiv:2307.01226},
year = {2023}
}
备注
24 pages, 12 figures, ACL findings 2023