中文

离散分布混合的检验

统计理论 2019-07-09 v1 数据结构与算法 机器学习 统计理论

摘要

关于大域上分布性质检验的样本复杂度已有大量研究。对许多性质而言,样本复杂度可远小于域大小。例如,在大小为nn的域上,区分均匀分布与1\ell_1距离上远离均匀的分布仅需O(n)O(\sqrt{n})个样本。然而,在存在任意噪声时,即便噪声量很小,情况也截然不同。此时必须区分样本是来自与均匀ϵ\epsilon接近的分布,还是来自与均匀(1ϵ)(1-\epsilon)远离的分布。后一任务需要近乎线性于nn的样本[Valiant 2008, Valiant and Valiant 2011]。本工作中,我们提出一种噪声模型,一方面使检验问题更可处理,另一方面代表了一类丰富的噪声族。在我们的模型中,含噪分布是原分布与噪声的混合,其中噪声对检验者显式已知或通过样本访问已知;噪声形式也先验已知。聚焦于同一性与接近性检验问题引出了如下混合检验问题:给定分布p,q1,q2p, q_1,q_2的样本,我们能否检验pp是否为q1q_1q2q_2的混合?我们在检验者访问分布方式不同的多种场景下考虑这一一般问题,并表明该问题确实更可处理。我们的结果表明,检验器的样本复杂度与经典非混合情形完全相同。

关键词

引用

@article{arxiv.1907.03190,
  title  = {Testing Mixtures of Discrete Distributions},
  author = {Maryam Aliakbarpour and Ravi Kumar and Ronitt Rubinfeld},
  journal= {arXiv preprint arXiv:1907.03190},
  year   = {2019}
}

备注

Appeared in COLT 2019