概率质量排除与点互信息的定向分量

本文考察一个随机变量的事件如何通过概率质量排除为另一变量的事件提供点互信息。我们首先引入概率质量图，其直观展示了先验分布如何通过排除变换为后验分布。借助这些图，我们识别出两类不同的概率质量排除——即可提供信息的排除与可提供错误信息的排除。随后，受 Fano 对点互信息的推导启发，我们提出四条公设，旨在将点互信息分解为两个独立的信息分量：一个与可提供信息的排除相关的非负项，以及一个与可提供错误信息的排除相关的非正项。这给出了点互信息分解为熵分量的一种熟知分解的新推导。最后，我们讨论了将信息视为概率质量排除对于正在进行的多元信息分解工作的意义。