离散分布泛函的极小极大估计

我们提出了一种通用方法，用于构建和分析有限维参数广泛类泛函的极小极大估计量，并详细阐述了离散分布的情形，其中字母表大小 $S$ 未知且可能与观测数量 $n$ 相当。我们分别处理泛函为“非光滑”和“光滑”的区域。在“非光滑”区域，我们对泛函的最佳多项式近似应用无偏估计量；而在“光滑”区域，我们应用偏差校正的最大似然估计量 (MLE)。我们通过深入分析两个重要案例来说明该方法的优势：熵 $H(P) = \sum_{i = 1}^S -p_i \ln p_i$ 和 $F_\alpha(P) = \sum_{i = 1}^S p_i^\alpha, \alpha>0$。我们获得了估计这些泛函的极小极大 $L_2$ 速率。特别是，我们证明了我们的估计量实现了熵估计的最优样本复杂度 $n \asymp S/\ln S$。我们还表明，估计 $F_\alpha(P), 0<\alpha<1$ 的样本复杂度为 $n\asymp S^{1/\alpha}/ \ln S$，这可由我们的估计量实现，但 MLE 无法实现。对于 $1<\alpha<3/2$，我们表明估计 $F_\alpha(P)$ 的极小极大 $L_2$ 速率为 $(n\ln n)^{-2(\alpha-1)}$，无论字母表大小如何，而 MLE 的 $L_2$ 速率为 $n^{-2(\alpha-1)}$。对于上述所有情况，具有 $n$ 个样本的极小极大概率最优估计量的行为本质上等同于具有 $n\ln n$ 个样本的 MLE 的行为。我们强调了我们的方案在熵和互信息估计方面的实际优势。我们证明，与现有的各种方法相比，我们的方法减少了运行时间并提高了准确性。此外，我们表明，由我们的方法导出的互信息估计量在学习图模型方面比 Chow--Liu 算法带来了显著的性能提升。