香农信息理论简介

本文旨在对香农信息理论进行简要介绍。主要涵盖了信息、香农熵和信道容量的概念。所有这些概念均以纯组合学的风格进行展开。本文还讨论了文献中通常未涉及的一些问题。特别地，我们表明，似乎可以以不同的方式定义信道容量，这使我们有可能在固定的足够长的时间内传输更多的消息。然而，对于携带有限个字母的信道，其信道容量不幸地仍然与香农极限相同。