熵与互信息的几何k近邻估计
统计理论
2018-04-18 v3 信息论
动力系统
math.IT
统计方法学
统计理论
摘要
互信息的非参数估计被广泛用于量化变量间依赖关系的科学问题中。k近邻（knn）方法是一致性的，因而有望在大数据样本量下表现良好。这些方法使用几何规则的局部体积元。这种做法允许体积元的最大局部化，但也可能因对底层概率测度的局部几何刻画不佳而引入偏差。我们引入一类称为几何knn估计量（g-knn）的新估计量，其使用更复杂的局部体积元以更好地建模概率测度的局部几何。作为该类估计量的一个例子，我们基于椭球体积元发展了熵与互信息的g-knn估计量，捕捉广泛动力系统吸引子共有的局部拉伸与压缩。一系列在底层分布厚度与样本量变化的数值例子表明，当局部几何效应无法由数据全局预处理消除时，局部几何是KSG（Kraskov-Stögbauer-Grassberger）估计量等knn方法的问题来源。尽管局部几何被操控，g-knn方法仍表现良好。此外，例子表明g-knn估计量对于系统庞大但数据量有限的应用可能尤为相关。
引用
@article{arxiv.1711.00748,
title = {Geometric k-nearest neighbor estimation of entropy and mutual information},
author = {Warren M. Lord and Jie Sun and Erik M. Bollt},
journal= {arXiv preprint arXiv:1711.00748},
year = {2018}
}