高维多项分布的检验及其在文本分析中的应用
统计方法学
2023-11-28 v2 统计理论
机器学习
统计理论
摘要
受文本挖掘与离散分布推断应用的启发，我们研究了对 组高维多项分布的概率质量函数相等性进行检验的问题。我们提出了一种检验统计量，并在原假设下证明其具有渐近标准正态分布。我们建立了最优检测边界，并证明所提检验在感兴趣的整个参数空间上均能达成该最优检测边界。所提方法在模拟研究中得到验证，并应用于分析两个真实数据集，以考察亚马逊电影消费者评论间的差异以及统计论文摘要的多样性。
引用
@article{arxiv.2301.01381,
title = {Testing High-dimensional Multinomials with Applications to Text Analysis},
author = {T. Tony Cai and Zheng Tracy Ke and Paxton Turner},
journal= {arXiv preprint arXiv:2301.01381},
year = {2023}
}