平滑经验测度的收敛性及其在熵估计中的应用

本文研究由高斯核平滑的经验测度的收敛性。具体地，考虑在不同统计距离下用 $\hat{P}_n\ast\mathcal{N}_\sigma$ 逼近 $P\ast\mathcal{N}_\sigma$，其中 $\mathcal{N}_\sigma\triangleq\mathcal{N}(0,\sigma^2 \mathrm{I}_d)$，$\hat{P}_n$ 为经验测度。收敛性在 Wasserstein 距离、全变差（TV）、Kullback-Leibler（KL）散度与 $\chi^2$-散度下考察。我们表明，在 TV 距离与 1-Wasserstein 距离（$\mathsf{W}_1$）下的逼近误差以 $e^{O(d)}n^{-\frac{1}{2}}$ 的速率收敛，这与未平滑 $\mathsf{W}_1$（且 $d\ge 3$）典型的 $n^{-\frac{1}{d}}$ 速率形成显著对比。对于 KL 散度、平方 2-Wasserstein 距离（$\mathsf{W}_2^2$）与 $\chi^2$-散度，收敛速率为 $e^{O(d)}n^{-1}$，但仅当 $P$ 在加性白高斯噪声信道上达到有限输入输出 $\chi^2$ 互信息时成立。若不满足后一条件，KL 散度与 $\mathsf{W}_2^2$ 的速率变为 $\omega(n^{-1})$，而 $\chi^2$-散度变为无穷——一种奇特的两分性。作为主要应用，我们考虑高维 regime 下微分熵 $h(P\ast\mathcal{N}_\sigma)$ 的估计。$P$ 未知但有其 $n$ 个独立同分布样本。我们首先表明任何 $h(P\ast\mathcal{N}_\sigma)$ 的良好估计器必须具有关于 $d$ 指数级的样本复杂度。利用经验逼近结果，我们随后表明插件估计器的绝对误差风险以参数速率 $e^{O(d)}n^{-\frac{1}{2}}$ 收敛，从而确立插件的极小极大速率最优性。给出了证明插件方法相对通用微分熵估计器具有显著经验优越性的数值结果。