锯齿阶乘主题嵌入引导的伽马信念网络
信息检索
2021-07-07 v1 计算与语言
机器学习
摘要
层次主题模型如伽马信念网络（GBN）在挖掘多层文档表示与发现可解释主题分类法方面已取得可喜成果。然而，它们常在先验中假设各层主题独立地从狄利克雷分布抽取，忽略了同层及跨层主题间的依赖关系。为放宽该假设，我们提出锯齿阶乘主题嵌入引导的 GBN，一种捕获嵌入空间中主题间依赖与语义相似性的深度生成文档模型。具体而言，词与主题均表示为同维嵌入向量。某层主题矩阵被分解为因子载荷矩阵与主题嵌入矩阵之积，后者转置被设为上一层因子载荷矩阵。重复此特定类型分解（在相邻层间共享分量）导致称为锯齿因式分解的结构。构建自编码变分推断网络以通过随机梯度下降优化模型参数。在大型语料上的实验表明，我们的模型在提取更深可解释主题与导出更优文档表示上优于其他神经主题模型。
引用
@article{arxiv.2107.02757,
title = {Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network},
author = {Zhibin Duan and Dongsheng Wang and Bo Chen and Chaojie Wang and Wenchao Chen and Yewen Li and Jie Ren and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2107.02757},
year = {2021}
}