关于 Kozachenko-Leonenko 熵估计的一致性

Luc Devroye; László Györfi

关于 Kozachenko-Leonenko 熵估计的一致性

统计理论 2021-02-26 v1 统计理论

作者: Luc Devroye , László Györfi

摘要

我们重新审视对 $R^d$ 中具有密度 $f$ 的随机向量 $X$ 的微分熵 $H(f)$ 的估计问题,假设 $H(f)$ 存在且有限。在本注记中,我们研究 Kozachenko 和 Leonenko 的流行最近邻估计 $H_n$ 的一致性。在没有任何光滑性条件下,我们证明该估计是一致的(当 $n \to \infty$ 时 $E\{|H_n - H(f)|\} \to 0$ )当且仅当 $\mathbb{E} \{ \log ( \| X \| + 1 )\} < \infty$ 。此外,若 $X$ 具有紧支撑,则 $H_n \to H(f)$ 几乎必然。

关键词

微分熵 Kozachenko-Leonenko 估计量最近邻估计一致性随机向量紧支撑

引用

@article{arxiv.2102.12952,
  title  = {On the consistency of the Kozachenko-Leonenko entropy estimate},
  author = {Luc Devroye and László Györfi},
  journal= {arXiv preprint arXiv:2102.12952},
  year   = {2021}
}

关于 Kozachenko-Leonenko 熵估计的一致性

摘要

关键词

引用

相关论文