卷积泊松伽马信念网络
机器学习
2019-05-15 v1 机器学习
应用统计
统计计算
统计方法学
摘要
在文本分析中，人们常采用有损表示，要么完全忽略词序，要么将每个词嵌入为低维稠密特征向量。本文提出卷积泊松因子分析（CPFA），其直接在无损表示上运作，将每篇文档中的词作为高维独热向量序列处理。为提升性能，我们进一步提出卷积泊松伽马信念网络（CPGBN），通过一种新颖的概率池化层将 CPFA 与伽马信念网络耦合。CPFA 将词组合成短语并捕捉非常具体的短语级主题，CPGBN 进一步构建层次化、日益通用的短语级主题。为高效推断，我们开发了 Gibbs 采样器以及基于 Weibull 分布的卷积变分自编码器。实验结果表明，CPGBN 能提取捕捉词序信息的高质量文本潜表示，因此可作为构建模块，用以丰富各种忽略词序的现有潜变量模型。
引用
@article{arxiv.1905.05394,
title = {Convolutional Poisson Gamma Belief Network},
author = {Chaojie Wang and Bo Chen and Sucheng Xiao and Mingyuan Zhou},
journal= {arXiv preprint arXiv:1905.05394},
year = {2019}
}
备注
ICML 2019