中文

频率的频率分布与规模相依的可交换随机划分

统计方法学 2016-08-02 v1 统计理论 应用统计 统计理论

摘要

受建模频率的频率(FoF)分布这一基本问题的驱动,本文引入了簇结构的概念,以定义一个概率函数来支配随机计数及其可交换随机划分的联合分布。簇结构自然产生于完全随机测度混合泊松过程,它允许总体子集的随机划分的概率分布依赖于总体规模,这是一个独特且有动机的特征,使其比划分结构更灵活。这使得它能够对整个 FoF 分布进行建模,该分布的结构性质会随着总体规模的变化而改变。FoF 向量可以通过抽取无限多个泊松随机变量来模拟,或者通过有限随机步数的棍子折断构造来模拟。我们提出了一个广义负二项过程模型来生成簇结构,其中先验的簇数量是有限的且服从泊松分布,簇大小服从截断负二项分布。我们提出了一种简单的 Gibbs 采样算法,用于在给定从总体中无放回抽取的样本的 FoF 向量的情况下,推断总体的 FoF 向量。我们通过对真实文本、基因组和调查数据的分析,展示了我们的结果并证明了所提出模型的优势。

关键词

引用

@article{arxiv.1608.00264,
  title  = {Frequency of Frequencies Distributions and Size Dependent Exchangeable Random Partitions},
  author = {Mingyuan Zhou and Stefano Favaro and Stephen G Walker},
  journal= {arXiv preprint arXiv:1608.00264},
  year   = {2016}
}

备注

To appear in the Journal of the American Statistical Association (Theory and Methods). 26 pages + 17 page supplement, 19 figures. arXiv admin note: text overlap with arXiv:1410.3155