中文

Lipschitz 球上熵估计的最优速率

统计理论 2019-11-12 v4 信息论 math.IT 统计方法学 统计理论

摘要

我们考虑在 Lipschitz 球上密度熵的极小极大估计问题。去掉密度有正下界这一通常假设,我们对支撑在 [0,1]d[0,1]^d 上、光滑参数为 0<s20<s\leq 2 的密度得到了极小极大速率 (nlnn)s/(s+d)+n1/2(n\ln n)^{-s/(s+d)} + n^{-1/2},其中 ss 为光滑参数,nn 为独立样本数。我们将结果推广到无界支撑的密度:给定快速增长(如次指数和次高斯类)的 Orlicz 函数 Ψ\Psi,具有有界 Ψ\Psi-Orlicz 范数的密度的极小极大速率增至 (nlnn)s/(s+d)(Ψ1(n))d(1d/p(s+d))+n1/2(n\ln n)^{-s/(s+d)} (\Psi^{-1}(n))^{d(1-d/p(s+d))} + n^{-1/2},其中 pp 为 Lipschitz 球中的范数参数。我们还证明了带有核密度估计的积分型插件估计量无法达到极小极大速率,并刻画了它们在 Lipschitz 球上的最坏情形表现。分析偏差的关键步骤之一依赖于 Hardy-Littlewood 极大不等式的新颖应用,这也导出了一个关于 Fisher 信息的新不等式,其本身可能具有独立意义。

关键词

引用

@article{arxiv.1711.02141,
  title  = {Optimal rates of entropy estimation over Lipschitz balls},
  author = {Yanjun Han and Jiantao Jiao and Tsachy Weissman and Yihong Wu},
  journal= {arXiv preprint arXiv:1711.02141},
  year   = {2019}
}