线性成本互信息估计及与 HSIC 性能相似的独立性检验

数据科学/机器学习中的基本问题之一是评估两个数据样本之间的统计依赖性，HSIC（Hilbert-Schmidt 信息准则）被认为是最先进的方法。然而，对于大小为 $n$ 的数据样本，它需要乘以 $n \times n$ 矩阵，当前需要约 $O(n^{2.37})$ 的计算复杂度，使得其在大数据样本上难以实用。我们讨论 HCR（层次相关重建）作为其线性成本的实用替代方案，其在更高灵敏度的依赖性测试中表现出色，同时提供实际的联合分布模型（基于所选显著性水平），通过描述混合矩（从相关性和同方差性开始）来刻画依赖性。此外，允许将互信息近似为此类非平凡混合矩的平方和。这种单一依赖描述特征可在 $O(n)$ 线性时间内计算。其数量随维度 $d$ 变化——对于成对依赖性需要 $O(d^2)$，若想考虑更微妙的三向依赖，则需要 $O(d^3)$，依此类推。