基于最优传输的神经主题模型
信息检索
2022-06-01 v3 计算与语言
机器学习
机器学习
摘要
近年来,受变分自编码器启发的神经主题模型(NTM)因其在文本分析上令人瞩目的结果而获得越来越多的研究关注。然而,现有NTM通常难以同时获得良好的文档表示与连贯/多样的主题。此外,它们在短文档上往往性能严重下降。重参数化的要求也可能损害其训练质量与模型灵活性。为应对这些不足,我们借助最优传输(OT)理论提出一种新的神经主题模型。具体而言,我们提议通过直接最小化文档词分布与该文档主题分布之间的OT距离来学习文档的主题分布。重要的是,OT距离的成本矩阵建模了主题与词之间的权重,其由嵌入空间中主题与词之间的距离构建。我们提出的模型可通过可微损失高效训练。大量实验表明,我们的框架在发现更连贯多样的主题以及为常规与短文本推导更好的文档表示方面,显著优于最先进的NTM。
引用
@article{arxiv.2008.13537,
title = {Neural Topic Model via Optimal Transport},
author = {He Zhao and Dinh Phung and Viet Huynh and Trung Le and Wray Buntine},
journal= {arXiv preprint arXiv:2008.13537},
year = {2022}
}
备注
Published in ICLR 2021, link: https://openreview.net/forum?id=Oos98K9Lv-k, code: https://github.com/ethanhezhao/NeuralSinkhornTopicModel