中文

哪些分布距离是次线性可检验的?

数据结构与算法 2017-11-01 v2 信息论 机器学习 math.IT 统计理论 统计理论

摘要

给定来自未知分布 pp 的样本和分布 qq 的描述,ppqq 是接近还是相距甚远?这个“一致性检验”问题在检验 ppqq 是否相等或在总变差距离上相距甚远的情况下受到了广泛关注。然而,在最近的工作中,以下问题对于解决分布检验前沿的问题至关重要:- 替代距离:我们能否检验 ppqq 是否在其他距离(例如 Hellinger 距离)上相距甚远?- 容错性:我们能否检验 ppqq 何时是接近的,而不是相等的?如果是,是在哪些距离上接近?受这些问题的启发,我们刻画了在多种距离(包括总变差、2\ell_2、Hellinger、Kullback-Leibler 和 χ2\chi^2)下进行分布检验的复杂性。对于每对距离 d1d_1d2d_2,我们研究了检验 ppqqd1d_1 下接近而在 d2d_2 下远离的复杂性,重点在于识别哪些问题允许强次线性检验器(即复杂度为 O(n1γ)O(n^{1 - \gamma}) 的检验器,其中 γ>0\gamma > 0nn 是分布 ppqq 的支持集大小)。我们为每种情况提供了匹配的上下界。我们还研究了仅拥有来自 qq 的样本(等价性检验)的情况,展示了在何时可实现容错性方面与一致性检验的定性差异。我们的算法属于经典的 χ2\chi^2-统计范式,但需要关键性的修改以应对我们所考虑的每种距离带来的挑战。最后,我们综述了其他近期结果,旨在作为各种分布检验问题复杂性的参考。

关键词

引用

@article{arxiv.1708.00002,
  title  = {Which Distribution Distances are Sublinearly Testable?},
  author = {Constantinos Daskalakis and Gautam Kamath and John Wright},
  journal= {arXiv preprint arXiv:1708.00002},
  year   = {2017}
}

备注

To appear in SODA 2018