作为关联度量的 Boltzmann/Shannon 熵

我们证明统计力学与信息论中的熵 $S({\bf p}) = -\sum p_i \log p_i$ 可视为一种关联度量。给定两离散变量上的概率分布 $p_{ij}$，我们定义毁关联变换 $C: p_{ij} \to \pi_{ij}$，其在相同变量上产生一个新分布，其中变量间不存在关联，即 $\pi_{ij} = P_i Q_j$。随后表明熵满足关系 $S({\bf p}) \leq S({\bf \pi}) = S({\bf P}) + S({\bf Q})$，即在这些毁关联变换下熵是非减的。