基于香农熵的KL散度新估计器

我们研究Kullback-Leibler（KL）散度的估计方法，以及针对多元连续分布的良好拟合测试。我们的分析始于香农熵的最大熵原理：在固定均值向量和协方差矩阵的所有分布中，多元高斯分布唯一地最大化熵。因此，KL散度可以从时刻匹配的高斯分布到未知密度写成\emph{熵差}，这是一个衡量与高斯分布偏离程度的合适信息论度量。为了进行估计，我们采用基于香农熵和KL散度的k最近邻（kNN）估计器，这些估计器基于Kozachenko-Leonenko方法及其后续改进，以及这些估计器所建立的一致性和L^{2}收敛性结果。受前人在R\'enyi型函数下基于广义高斯和Student型模型的熵基良好拟合思想的启发，我们描述了一个KL基测试统计量，即（i）拟合样本均值和协方差的高斯模型的熵与（ii）未知熵与kNN估计之间的KL散度之差。该统计量在多元正态性下收敛于零，在非高斯备择方案下收敛于严格为正的下界。Monte Carlo仿真结果表明，所提出的程序在各种维度和样本量下，能够实现准确的第一类错误控制，并在准确性方面通常优于传统的多元正态性检验，尤其是在中等和高维情形下表现更佳。