基于神经推断的非参数主题建模
计算与语言
2018-06-19 v1 信息检索
机器学习
摘要
本工作聚焦于将非参数主题模型与自动编码变分贝叶斯（AEVB）相结合。具体地，我们首先提出 iTM-VAE，其中主题被视为可训练参数，文档特定的主题比例通过 stick-breaking 构造获得。iTM-VAE 的推断由神经网络建模，从而可以简单的前馈方式计算。我们也描述了如何将超先验引入 iTM-VAE 以建模先验参数的不确定性。实际上，超先验技术相当通用，我们展示其可应用于其他基于 AEVB 的模型以优雅地缓解{\it 坍缩至先验}问题。此外，我们还提出 HiTM-VAE，其中文档特定的主题分布以层次方式生成。HiTM-VAE 更为灵活，并能生成具有更好可变性的主题分布。在 20News 与 Reuters RCV1-V2 数据集上的实验结果表明所提模型显著优于最先进的基线。超先验技术与层次模型构建的优势也经实验证实。
引用
@article{arxiv.1806.06583,
title = {Nonparametric Topic Modeling with Neural Inference},
author = {Xuefei Ning and Yin Zheng and Zhuxi Jiang and Yu Wang and Huazhong Yang and Junzhou Huang},
journal= {arXiv preprint arXiv:1806.06583},
year = {2018}
}
备注
11 pages, 2 figures