泊松-伽马信念网络
机器学习
2015-12-31 v2 统计方法学
摘要
为了推断高维计数向量的多层表示，我们提出了泊松-伽马信念网络（PGBN），该网络将其每一层分解为连接权重矩阵与下一层非负实隐藏单元的乘积。PGBN的隐藏层通过上下Gibbs采样器联合训练，每次迭代从第一层（底部数据层）开始向上采样Dirichlet分布的连接权重向量，然后从顶部隐藏层开始向下采样伽马分布的隐藏单元。伽马-负二项过程结合逐层训练策略，使得PGBN能够在给定第一层宽度固定预算的情况下推断每层的宽度。具有单个隐藏层的PGBN退化为泊松因子分析。文本分析上的示例结果说明了第一层宽度与推断网络结构之间的有趣关系，并表明在给定第一层宽度相同限制下，隐藏单元被施加相关伽马先验的PGBN可以增加更多层，从而获得比泊松因子分析更大的性能提升。
引用
@article{arxiv.1511.02199,
title = {The Poisson Gamma Belief Network},
author = {Mingyuan Zhou and Yulai Cong and Bo Chen},
journal= {arXiv preprint arXiv:1511.02199},
year = {2015}
}
备注
Neural Information Processing Systems (NIPS2015)