Topic-VQ-VAE：利用潜在码本实现灵活的主题引导文档生成

YoungJoon Yoo; Jongwon Choi

Topic-VQ-VAE：利用潜在码本实现灵活的主题引导文档生成

计算与语言 2024-01-23 v2 人工智能机器学习

作者: YoungJoon Yoo , Jongwon Choi

摘要

本文提出了一种新颖的主题建模方法，利用向量量化变分自编码器（VQ-VAE）的潜在码本，离散地封装预训练嵌入（如预训练语言模型）的丰富信息。基于对潜在码本和嵌入作为概念性词袋的新颖解释，我们提出了一种新的生成式主题模型Topic-VQ-VAE（TVQ-VAE），它逆向生成与各自潜在码本相关的原始文档。TVQ-VAE可以通过多种生成分布（包括传统的词袋分布和自回归图像生成）来可视化主题。我们在文档分析和图像生成上的实验结果表明，TVQ-VAE有效地捕获了主题上下文，揭示了数据集的潜在结构，并支持灵活形式的文档生成。所提出的TVQ-VAE的官方实现可在https://github.com/clovaai/TVQ-VAE获取。

关键词

主题建模 VQ-VAE 潜在码本文档生成词袋自回归生成

引用

@article{arxiv.2312.11532,
  title  = {Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation},
  author = {YoungJoon Yoo and Jongwon Choi},
  journal= {arXiv preprint arXiv:2312.11532},
  year   = {2024}
}

备注

Published in the 38th annual AAAI conference on Artificial Intelligence

Topic-VQ-VAE：利用潜在码本实现灵活的主题引导文档生成

摘要

关键词

引用

备注

相关论文