中文

缺失 $g$-质量:探究分布的缺失部分

统计理论 2023-05-30 v2 信息论 math.IT 统计理论

摘要

从独立同分布样本估计底层分布是统计学中一个经典且重要的问题。当字母表大小相对于样本数较大时,分布的一部分极可能未被观测到或仅被稀疏观测到。缺失质量定义为对所有缺失字母 xx 的概率 Pr(x)\text{Pr}(x) 求和,其 Good-Turing 估计量一直是大规模字母表分布估计中的重要工具。本文中,给定从 [0,1][0,1] 到实数的正函数 gg,引入并研究了缺失 gg-质量,其定义为对所有缺失字母 xxg(Pr(x))g(\text{Pr}(x)) 求和。缺失 gg-质量可用于探究分布缺失部分的结构。针对特殊情形的具体应用,如阶-α\alpha 缺失质量(g(p)=pαg(p)=p^{\alpha})与缺失香农熵(g(p)=plogpg(p)=-p\log p),包括估计缺失分布与均匀性的距离及其部分估计。对整数值 α\alpha 的阶-α\alpha 缺失质量研究了极小极大估计,并得到了精确的极小极大收敛速率。对一类函数 gg 研究了集中性,并对阶-α\alpha 缺失质量与缺失香农熵推导了具体结果。推导了具有近最优最坏情况方差因子的亚高斯尾界。引入了两个新的集中性概念,称为强亚伽马集中与滤波亚高斯集中,并证明它们可得到优于亚高斯集中所得右尾界的结果。

关键词

引用

@article{arxiv.2110.01968,
  title  = {Missing $g$-mass: Investigating the Missing Parts of Distributions},
  author = {Prafulla Chandra and Andrew Thangaraj},
  journal= {arXiv preprint arXiv:2110.01968},
  year   = {2023}
}