削减独立冗余：充分统计量、互信息与来自有效信道状态的可预测性

关于一对随机变量X和Y，人们能提出的最基本问题之一是其互信息的值。不幸的是，该任务常被变量的极大维度阻碍。我们可能希望用保留与另一变量关系的低维表示来替换每个变量。理论上的理想实现是使用最小充分统计量，其中众所周知，X或Y中任一个可被其关于另一个的最小充分统计量替换，同时保留互信息。尽管直观上合理，但两个变量能同时被替换并不明显或直接。我们证明这事实上是可能的：X的最小充分统计量保留的关于Y的信息，恰好是Y的最小充分统计量保留的关于X的信息。作为一个重要推论，我们考虑一个变量是随机过程的过去而另一个是未来的情形，并将现在视为有记忆信道。在此情形下，互信息是信道有效状态之间的信道传输速率。即，过去-未来互信息（超额熵）是利用过去可预测的关于未来的信息量。转换我们关于最小充分统计量的结果，这等价于计算力学的正向与反向时间因果状态之间的互信息。我们最后讨论了这种最小充分统计量使用的多元推广。