线性成本的互信息估计与性能媲美 HSIC 的独立性检验

评估两个数据样本间的统计依赖性是数据科学/机器学习的基本问题，而 HSIC (Hilbert-Schmidt Information Criterion)~\cite{HSIC} 被认为是目前最先进的方法。然而，对于大小为 $n$ 的数据样本，它需要进行 $n\times n$ 矩阵乘法，目前这需要约 $O(n^{2.37})$ 的计算复杂度~\cite{mult}，使其对于大型数据样本不切实际。我们讨论 HCR (Hierarchical Correlation Reconstruction) 作为其线性成本的实用替代方案，在检验中对依赖性甚至具有更高的灵敏度，并且通过以混合矩（从相关性和同方差性开始）为特征来描述依赖性，为所选显著性水平提供了实际的联合分布模型。这也允许将互信息近似为两个数据样本间此类非平凡混合矩的平方和。描述此类单一依赖性的特征可在 $O(n)$ 线性时间内计算得出。需检验的特征数量随维度 $d$ 变化——成对依赖性需要 $O(d^2)$，若还想考虑更细微的三元依赖性则需要 $O(d^3)$，依此类推。