调和熵估计量：无限字母表上的极小极大最优性与半参数效率

本文研究具有可数无限支撑的离散分布的香农熵估计。虽然有限支撑分布的极小极大速率已经确立，但无限支撑分布在概率趋于零时，在偏差控制方面呈现出独特的挑战。我们通过引入调和熵估计量来解决这一问题，该统计量源自一个精确的代数恒等式，该恒等式将调和变换后的二项式计数的期望与潜在成功概率的对数联系起来。我们建立了两个主要结果来刻画该问题的统计极限。首先，对于尾部至少呈二次衰减（$p_j\lesssim j^{-2}$）的分布类，我们证明了该估计量达到了 $1/n$ 阶的参数 $L_2$-极小极大收敛速率。其次，在更强的条件 $p_j =o(j^{-2})$ 下，我们证明了该估计量是半参数有效的，收敛到一个正态分布，其方差与渐近效率界 $\textrm{Var}[\log p(X)]$ 相匹配。这些结果统一了有限方差分布的熵估计理论，并提供了一个具有精确理论保证的简单一步估计量。