依赖多项模型简易化：利用Pólya-Gamma增广的stick-breaking
机器学习
2015-06-22 v1
摘要
许多实际建模问题涉及离散数据，最好表示为从多项或类别分布中抽取。例如DNA序列中的核苷酸、给定州和年份的儿童姓名、文本文档通常都用多项分布建模。在所有这些情况下，我们期望抽取之间存在某种依赖：DNA链中一个位置的核苷酸可能依赖于前面的核苷酸，儿童姓名逐年高度相关，文本中的主题可能相关且动态。这些依赖关系不能自然地被典型的Dirichlet-多项公式捕获。这里，我们利用logistic stick-breaking表示和Pólya-gamma增广的最新创新，将多项分布重新表述为具有联合高斯似然的潜变量，使我们能够利用大量高斯模型的贝叶斯推断技术而开销最小。
引用
@article{arxiv.1506.05843,
title = {Dependent Multinomial Models Made Easy: Stick Breaking with the P\'olya-Gamma Augmentation},
author = {Scott W. Linderman and Matthew J. Johnson and Ryan P. Adams},
journal= {arXiv preprint arXiv:1506.05843},
year = {2015}
}