正则变化尾分布总体下未见物种的近最优估计

给定来自一个由不同物种个体组成的总体中的 $n$ 个样本，若再收集 $\lambda n$ 个新样本，将会观察到多少个迄今未见的物种 $U$？这是许多科学工作中的重要问题，近期已有文献引入 $U$ 的非参数估计量，这些估计量在极小极大意义下近最优，并且一致性可一直保持到 $\lambda \asymp\log n$。这些工作不依赖于总体底层未知分布 $p$ 的任何假设，因此尽管给出了最具一般性的理论，最坏情形分布可能在具体应用中严重妨碍 $U$ 的估计。本文考虑加强估计 $U$ 的非参数框架。受极值理论中稀有概率估计的启发，并鉴于许多自然与社会现象中普遍存在的幂律型分布，我们对 $p$ 的尾部行为采用半参数假设：指数为 $\alpha \in (0,1)$ 的正则变化。在此假设下，我们提出一个估计 $U$ 的估计量，它简单、关于抽样信息线性、计算高效且可扩展到海量数据集。进而，在我们的一类正则变化尾分布上一致地，我们证明所提估计量具有可证明的保证：i) 它是极小极大近最优的，相差一个 $\log n$ 的幂次因子；ii) 它的一致性可一直达到 $\log\lambda \asymp n^{\alpha/2}/\sqrt{\log n}$，且该范围是最佳可能的。本工作是首个在正则变化尾分布下研究未见物种估计的工作。我们针对合成数据与真实数据给出了方法的数值说明。