Fisher信息的经验非参数估计
统计计算
2015-06-22 v2 信息论
math.IT
机器学习
摘要
Fisher信息矩阵（FIM）是统计信号处理中的一个基础概念。FIM依赖于概率分布，该分布被假定属于一个光滑的参数族。传统的FIM估计方法需要估计概率分布函数（PDF）或其参数，以及其梯度或Hessian矩阵。然而，在许多实际情况下，数据的PDF未知，但统计学家可以获得任意参数值下的观测样本。本文提出了一种直接从采样数据估计FIM的方法，该方法不需要知道潜在的PDF。该方法基于在参数空间局部邻域内对-散度的非参数估计，以及-散度曲率与FIM之间的关系。因此，我们得到了一个不需要密度估计且渐近一致的FIM经验估计量。我们通过两个实验经验性地评估了该方法的有效性。
引用
@article{arxiv.1408.1182,
title = {Empirical non-parametric estimation of the Fisher Information},
author = {Visar Berisha and Alfred O. Hero},
journal= {arXiv preprint arXiv:1408.1182},
year = {2015}
}
备注
12 pages