用于多层级非参数混合建模的嵌套层次 Dirichlet 过程
机器学习
2015-09-02 v2 机器学习
摘要
Dirichlet 过程(DP)是一种用于无限混合模型的贝叶斯非参数先验，其中混合分量的数量随数据项的数量而增长。层次 Dirichlet 过程(HDP)是 DP 针对分组数据的扩展，常用于非参数主题建模，其中每个组是对共享混合密度的混合。另一方面，嵌套 Dirichlet 过程(nDP)是 DP 的扩展，用于从数据中学习组级分布，同时对组进行聚类。它允许组级分布在非参数设置下跨组共享，从而形成非参数的混合之混合。nCRF 将 nDP 扩展至多层级非参数混合建模，使得对主题层次进行建模成为可能。然而，nDP 和 nCRF 不允许如许多应用所要求的那样进行分布共享，这促使了对多层级非参数混合建模的需求。我们通过提出多层级嵌套 HDP(nHDP)来弥补这一空白，其中 HDP 的基础分布在每一层本身就是一个 HDP，从而在每一层产生混合之混合。由于各 HDP 层级之间的耦合，在推断过程中扩展规模自然是一个挑战。我们为嵌套 HDP 提出了一种多层级嵌套中国餐馆特许经营(nCRF)表示，并据此概述了一种基于 Gibbs 采样的推断算法。我们使用两层 nHDP 对模型进行非参数实体主题建模评估，其中内层 HDP 创建可数无限的主题混合集合并将其与作者实体关联，而外层 HDP 将文档与这些作者实体关联。在两个真实世界研究语料库上的实验中，nHDP 的泛化能力显著优于现有模型，并能以合理的准确率检测缺失的作者实体。
引用
@article{arxiv.1508.06446,
title = {Nested Hierarchical Dirichlet Processes for Multi-Level Non-Parametric Admixture Modeling},
author = {Lavanya Sita Tekumalla and Priyanka Agrawal and Indrajit Bhattacharya},
journal= {arXiv preprint arXiv:1508.06446},
year = {2015}
}
备注
Proceedings of European Conference of Machine Learning (ECML) 2013