最优编码与Zipf定律的起源

标准信息论中的压缩问题在于为数字分配尽可能短的码字。此处我们考虑在任意编码方案下的最优编码问题，并表明其可预测Zipf缩写定律，即自然语言中更频繁出现的词更短的趋势。我们应用该结果研究在非奇异编码（一种不保证唯一分割但码字代表一个不同数字的方案）下的最优编码。最优非奇异编码预测词长应大致随其频率秩的对数增长，这再次与Zipf缩写定律一致。最优非奇异编码与最大熵原理相结合还可预测Zipf的秩-频分布。此外，我们关于最优非奇异编码的发现挑战了关于随机键入的普遍看法。结果表明随机键入实际上是一个最优编码过程，这与普遍认为其脱离降本考量截然相反。最后，我们讨论了最优编码对于构建Zipf定律及其他语言定律的紧凑理论的启示。