基于主题层自适应随机梯度黎曼 MCMC 的深度潜在 Dirichlet 分配
机器学习
2017-06-07 v1 机器学习
统计计算
摘要
为深度离散潜变量模型（LVM）开发基于随机梯度的可扩展推断极具挑战性，这不仅因为计算梯度困难，还因为需要将步长适应于不同的潜在因子和隐藏层。对于近期提出的深度离散 LVM——Poisson gamma 信念网络（PGBN），我们推导出一种替代表示，称为深度潜在 Dirichlet 分配（DLDA）。利用数据增广和边缘化技术，我们推导出 DLDA 受单纯形约束的全局模型参数的分块对角 Fisher 信息矩阵及其逆矩阵。利用该 Fisher 信息矩阵与随机梯度 MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，该方法能够以特定于主题和层的学习率，联合学习所有层和主题中受单纯形约束的全局参数。在大数据集上展示了最先进的结果。
引用
@article{arxiv.1706.01724,
title = {Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC},
author = {Yulai Cong and Bo Chen and Hongwei Liu and Mingyuan Zhou},
journal= {arXiv preprint arXiv:1706.01724},
year = {2017}
}
备注
Appearing in ICML 2017