WHAI：用于深度主题建模的威布尔混合自编码推断
机器学习
2020-04-28 v2 应用统计
统计计算
摘要
为了联合训练推断网络与深度生成主题模型，使其既能扩展到大型语料库，又能在样本外预测中快速，我们为深度隐狄利克雷分配开发了威布尔混合自编码推断（WHAI），其通过随机梯度 MCMC 与自编码变分贝叶斯相混合来推断后验样本。WHAI 的生成网络具有伽马分布层次，而其推断网络是一个威布尔自下而上-自上而下变分自编码器，它集成了一个确定性的向上深度神经网络，以及一个基于威布尔分布层次的随机向下深度生成模型。威布尔分布可很好地近似伽马分布且具解析的 Kullback-Leibler 散度，并通过均匀噪声具有简单的重参数化，这有助于高效计算证据下界相对于推断网络参数的梯度。WHAI 的有效性与效率在大型语料库实验中得到了说明。
引用
@article{arxiv.1803.01328,
title = {WHAI: Weibull Hybrid Autoencoding Inference for Deep Topic Modeling},
author = {Hao Zhang and Bo Chen and Dandan Guo and Mingyuan Zhou},
journal= {arXiv preprint arXiv:1803.01328},
year = {2020}
}
备注
ICLR 2018