高维核密度估计器

本文研究高维分布 $\rho(x)$ 的核密度估计。传统方法关注数据点数 $n$ 很大且维数 $d$ 固定的情形。我们分析的是当数据点数 $n$ 和维数 $d$ 以固定比例 $\alpha=(\log n)/d$ 同时增长的情形。我们的研究揭示了核基估计 $\hat \rho_h^{\mathcal {D}}(x)=\frac{1}{n h^d}\sum_{i=1}^n K\left(\frac{x-y_i}{h}\right)$ 在带宽 $h$ 上的三个不同的统计规模：对于大带宽，存在中心极限定理（CLT），这类似于传统方法中发现的情形。在某个带宽阈值 $h_{CLT}(\alpha)$ 以下，CLT 失效。对于固定的 $x$（从 $\rho(x)$ 中抽取），$\hat\rho_h^{\mathcal {D}}(x)$ 的统计分布为重尾分布（alpha稳定分布）。特别是在某个阈值 $h_G(\alpha)$ 以下，$\hat\rho_h^{\mathcal {D}}(x)$ 受极值统计支配：仅有少数数据点起主要作用，对密度估计器的贡献占主导地位。我们对高维多元正态数据提供了详细分析。我们指出，基于KL散度的最优带宽阈值位于本文确定的新统计规模中。如众所周知，当减小带宽时，核估计的值从平滑曲线变为以数据点为中心的峰值集合。我们的发现揭示了这一现象与由不同统计特性特征征的相位间的尖锐转变有关，为高维情形下的核密度估计提供了新视角。