计数区分: 论香农信息论的概念基础
信息论
2009-02-12 v1 计算机科学中的逻辑
math.IT
逻辑
摘要
范畴逻辑已表明,现代逻辑本质上是子集(或“子对象”)的逻辑。划分与子集对偶,因此存在一种对偶的划分逻辑,其中“区分”[来自论域 U 的有序对相异元素 (u,u')] 与“元素”对偶。元素属于子集,类似于划分 p 在 U 上做出一个区分,即如果 u 和 u' 位于 p 的不同块中。子集逻辑通过将(拉普拉斯)概率取为有限论域中每个子集-事件的归一化大小,从而导出有限概率论。在划分逻辑中,相应的步骤是将一个划分所做出的区分数量除以来自有限论域的有序对总数 |UxU| 进行归一化。这产生了划分的“逻辑熵”概念和一种“逻辑信息论”。逻辑理论直接计数划分中(归一化的)区分数量,而香农理论则给出了做出这些相同区分所需的二元划分的平均数量。因此,逻辑理论被视为基于“区分”这一逻辑概念,为香农理论提供了概念基础。(即将发表于 Synthese)
引用
@article{arxiv.0902.1790,
title = {Counting Distinctions: On the Conceptual Foundations of Shannon's Information Theory},
author = {David Ellerman},
journal= {arXiv preprint arXiv:0902.1790},
year = {2009}
}