$S^3$ -- 语义信号分离
机器学习
2025-05-20 v3 计算与语言
机器学习
摘要
主题模型是发现大型文本语料库中潜在语义结构的有用工具。最近的努力倾向于在主题建模中融合情境表示，已被证明优于经典主题模型。这些方法通常较慢、波动较大，需要大量预处理才能获得最佳结果。我们提出了语义信号分离（），这是一种基于神经嵌入空间的理论驱动主题建模方法。 将主题概念化为语义空间的独立轴，通过对情境化文档嵌入进行独立成分分析（ICA）来发现这些轴。我们的方法提供多样且高度连贯的主题，无需预处理，被证明是最快的情境主题模型，平均比领先的 BERTopic 快 4.5 倍。我们提供 的实现，以及所有情境基线，在 Turftopic Python 包中。
引用
@article{arxiv.2406.09556,
title = {$S^3$ -- Semantic Signal Separation},
author = {Márton Kardos and Jan Kostkan and Arnault-Quentin Vermillet and Kristoffer Nielbo and Kenneth Enevoldsen and Roberta Rocca},
journal= {arXiv preprint arXiv:2406.09556},
year = {2025}
}
备注
24 pages, 13 figures (main manuscript has 9 pages and 7 figures); The paper has been adjusted according to reviewers' feedback