一种基于互信息的变量间依赖性度量新估计：性质与快速实现

本文提出了一种利用直方图密度估计来估算现有基于互信息的依赖性度量的新方法。为直方图选择合适的箱宽（bin length）是一个开放性问题。我们提出了一种利用点之间最大分离度的函数来计算直方图箱宽的新方法。所选的箱宽使得直方图方法能够获得一致的密度估计。由此获得的密度值用于计算现有依赖性度量的估计值。所提出的估计量被命名为基于互信息的依赖性指数（Mutual Information Based Dependence Index, MIDI）。文中还阐述了 MIDI 的一些重要性质。借助多个具有不同噪声量的人工数据集，我们在准确性和计算复杂度方面将所提方法与距离相关系数（Distance Correlation, dcor）、最大信息系数（Maximal Information Coefficient, MINE）等公认度量进行了比较。所提方法能够在不对关系函数形式做任何假设的情况下，检测变量间的多种类型关系。该方法的统计功效表明其在检测非线性关系方面的有效性。因此，它能够在保持高泛化能力的同时避免高假阳性率。在真实数据集上，MIDI 的表现优于竞争方法。研究发现，所提方法克服了 dcor 和 MINE 存在的一些局限性。在计算方面，MIDI 在时间和内存消耗上均优于 dcor 和 MINE，使其适用于大规模数据集。