广义香农熵插件估计量的渐近正态性
统计理论
2022-05-25 v1 信息论
math.IT
统计理论
摘要
香农熵是信息论的基石之一，也是机器学习方法（如随机森林）的基本要素。然而，它仅对可数字母表上尾衰减速率为快的分布有限定义。香农熵在所有字母表上全部分布类别上的无界性阻碍了其潜在效用的充分发挥。为填补信息论基础中的空白，Zhang（2020）提出了广义香农熵，其在各处均有限定义。几乎在所有基于熵的机器学习方法包中采用的插件估计量，是估计香农熵最流行的方法之一。香农熵插件估计量的渐近分布在已有文献中被充分研究。本文研究可数字母表上广义香农熵插件估计量的渐近性质。所发展的渐近性质对原始分布无需任何假设。所提出的渐近性质允许对广义香农熵进行区间估计与统计检验。
引用
@article{arxiv.2205.01022,
title = {Asymptotic Normality for Plug-in Estimators of Generalized Shannon's Entropy},
author = {Jialin Zhang and Jingyi Shi},
journal= {arXiv preprint arXiv:2205.01022},
year = {2022}
}