互信息的替代度量研究

互信息 $I(X;Y)$ 是信息论中用于估计随机变量 $Y$ 关于随机变量 $X$ 所含信息量的有用定义。定义互信息的一种方式是借助 KL 散度将 $X$ 与 $Y$ 的联合分布与边缘分布的乘积进行比较。若两分布彼此接近，则由于两变量近乎独立，$X$ 从 $Y$ 的泄露几乎为零。在离散情形下，互信息有一个很好的解释：即 $Y$ 揭示了多少比特的 $X$，且若 $I(X;Y)=H(X)$（$X$ 的香农熵），则 $X$ 被完全揭示。然而，在连续情形下我们并无相同推论。例如，连续情形下的互信息可为无穷大。这一事实使我们尝试不同的度量或散度来定义互信息。本文中，我们评估了不同度量或散度，如 Kullback-Liebler（KL）散度、Wasserstein 距离、Jensen-Shannon 散度和全变距离，以形成连续情形下互信息的替代定义。我们采用不同方法来估计或界定这些度量与散度，并评估其性能。