多维数据归一化互信息的精确估计

虽然线性 Pearson 相关系数代表了一种成熟的归一化度量,用于量化两个随机变量 $X$ 和 $Y$ 之间的相互关系,但对于笛卡尔坐标等多维变量它却失效了。在不避免对底层数据做任何假设的情况下,互信息 $I(X, Y)$ 确实考虑了多维相关性。然而,与归一化的 Pearson 相关不同,它没有上限($I \in [0, \infty)$),即尚不清楚比如 $I = 0.4$ 对应的是低相关还是高相关。此外,互信息 涉及高维概率密度的估计(例如,笛卡尔坐标的六维),这需要 k 近邻算法,例如 Kraskov 等人 [Phys. Rev. E 69, 066138 (2004)] 的估计器。由于现有的归一化 MI 的方法无法与此估计器结合使用,因此提出了一种新方法,该方法使用在变量变换下不变的熵估计方法。该算法在数值上是高效的,并且不需要比计算(未归一化的)MI 付出更多的努力。在通过将该方法应用于各种玩具模型进行验证之后,考虑了 T4 溶菌酶的 $C_{\alpha}$ 坐标之间的归一化 MI,并与残基间接触的相关分析进行了比较。