KL 散度估计：最优极小极大率

在假设分布的字母表大小 $k$ 可以趋于无穷大的条件下，研究了估计两个未知分布 $P$ 和 $Q$ 之间 Kullback-Leibler 散度 $D(P\|Q)$ 的问题。该估计基于从 $P$ 抽取的 $m$ 个独立样本和从 $Q$ 抽取的 $n$ 个独立样本。首先证明了不存在任何一致估计量能够在所有分布对集合上保证渐近小的最坏情况二次风险。进一步考虑了一个包含分布对的受限集合，其中密度比受函数 $f(k)$ 约束。提出了一种增强的插补估计量，并证明如果 $m$ 和 $n$ 分别超过 $k$ 和 $kf(k)$ 的常数倍，其最坏情况二次风险在 $(\frac{k}{m}+\frac{kf(k)}{n})^2+\frac{\log ^2 f(k)}{m}+\frac{f(k)}{n}$ 的常数因子范围内。此外，如果 $m$ 和 $n$ 分别超过 $k/\log(k)$ 和 $kf(k)/\log k$ 的常数倍，极小极大二次风险被刻画为在 $(\frac{k}{m\log k}+\frac{kf(k)}{n\log k})^2+\frac{\log ^2 f(k)}{m}+\frac{f(k)}{n}$ 的常数因子范围内。极小极大二次风险的下界通过采用广义 Le Cam 方法刻画。随后，通过结合多项式逼近和插补方法构造了一个极小极大最优估计量。