作为依赖性度量与相关性分析对比的互信息估计方法综述
机器学习
2015-06-18 v1
摘要
在这篇综述中，我们提出并比较了从数据中估计互信息（MI）的不同方法，以分析系统中感兴趣变量之间的一般依赖性。我们展示了 MI 与相关性分析的性能差异，后者仅在线性依赖的情况下是最优的。首先，我们使用了一种采用一般 Dirichlet 先验的分段常数贝叶斯方法。在这种估计方法中，我们采用两阶段方法，首先近似概率分布，然后计算边缘熵和联合熵。在此，我们展示了这种贝叶斯方法在计算不同变量间依赖性时相对于其他方法的性能。我们还将这些方法与线性相关性分析进行了比较。最后，我们将 MI 和相关性分析应用于识别卫星搭载的 Moderate Resolution Imaging Spectroradiometer (MODIS) 和地基 AErosol RObotic NETwork (AERONET) 在测定气溶胶光学厚度（AOD）时的偏差。在此，我们观察到这两种仪器在同一位置的 AOD 测量值可能不同。我们通过量化偏差与其他 15 个变量（包括云量、表面反射率等）之间的依赖性来探索该偏差的原因。
引用
@article{arxiv.1401.3358,
title = {Survey On The Estimation Of Mutual Information Methods as a Measure of Dependency Versus Correlation Analysis},
author = {D. Gencaga and N. K. Malakar and D. J. Lary},
journal= {arXiv preprint arXiv:1401.3358},
year = {2015}
}