基于广义最近邻图的Rényi熵与互信息估计
机器学习
2010-10-27 v2 人工智能
摘要
我们提出了基于从上未知的绝对连续分布中抽取的独立同分布样本的Rényi熵和互信息的简单且计算高效的非参数估计量。这些估计量分别计算为样本的“广义最近邻”图边的欧几里得长度的次幂之和，以及样本的经验copula的相应和。我们首次证明了这些估计量的几乎必然一致性和其收敛速度的上界，后者是在假设样本背后的密度是Lipschitz连续的条件下得出的。实验证明了它们在独立子空间分析中的实用性。
引用
@article{arxiv.1003.1954,
title = {Estimation of R\'enyi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs},
author = {Dávid Pál and Barnabás Póczos and Csaba Szepesvári},
journal= {arXiv preprint arXiv:1003.1954},
year = {2010}
}
备注
to appear at NIPS 2010 (Neural Information Processing Systems)