逻辑熵及其与香农熵关系的导论

我们生活在信息时代。作为信息时代之父的克劳德·香农给出了一个量化“信息量”的通信理论，但正如他所指出的，“信息本身的概念并未被定义”。逻辑熵提供了这一定义。逻辑熵是基于区分、差异、可分辨性和多样性这一信息概念的自然度量。它是一个集合上分区的区分的（归一化）定量度量——正如布尔-拉普拉斯逻辑概率是集合子集元素的归一化定量度量。而分区与子集在数学上是对偶概念——因此分区逻辑在该意义下与通常的子集布尔逻辑对偶，故得名“逻辑熵”。一个分区的逻辑熵有一个简单解释：在从底层集合独立抽取两次时得到区分（dit，即不同块中的元素）的概率。香农熵也被表明基于这一信息即区分的概念；它是需要联合以产生给定分区所有相同区分的平均最小二进制分区（比特）数。因此，简单、联合、条件和互逻辑熵的所有概念都可通过一致的非线性 dit-bit 变换转化为香农熵的相应概念。最后，逻辑熵自然线性化为相应的量子概念。作用于态的观测量的量子逻辑熵，是在该态上对该观测量进行两次独立投影测量得到两个不同本征值的概率。