FASTopic：快速、自适应、稳定与可迁移的主题模型
计算与语言
2024-10-29 v2 人工智能
摘要
主题模型多年来发展迅速，从传统方法到最新神经方法，但现有主题模型往往在有效性、效率或稳定性之间难以取舍，严重制约了实际应用。本文提出FASTopic，一种快速、自适应、稳定且可迁移的主题模型。FASTopic遵循一种新范式：双语义关系重构（DSR）。不同于传统方法、基于变分自编码器的方法或聚类方法，DSR直接建模文档嵌入向量之间的语义关系，并学习可迁移的主题嵌入和词嵌入。通过重构这些语义关系，DSR发现隐含主题。这带来了一个简洁且高效的主题建模框架。我们进一步提出了一种新型嵌入运输计划（ETP）方法。不同于早期直接的方法，ETP显式地将语义关系正则化为最优运输计划，从而解决了关系偏差问题，进而导致有效的主题建模。广泛的实验表明，FASTopic在有效性、效率、适应性、稳定性和可迁移性方面，均优于在各种情境下达到最先进水平的基准方法。
引用
@article{arxiv.2405.17978,
title = {FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model},
author = {Xiaobao Wu and Thong Nguyen and Delvin Ce Zhang and William Yang Wang and Anh Tuan Luu},
journal= {arXiv preprint arXiv:2405.17978},
year = {2024}
}
备注
Accepted to NeurIPS 2024. Code is available at https://github.com/BobXWu/Fastopic