重尾符号频率分布的相似性

量化符号序列之间的相似性是信息论中的一个传统问题，需要比较不同序列中符号的频率。在从 DNA 到音乐再到文本等众多现代应用中，符号频率的分布以重尾分布（例如 Zipf 定律）为特征。这些分布中大量的低频符号给序列间相似性的估计带来了主要困难，例如它们阻碍了对熵的准确有限尺寸估计。在此，我们解析地展示了这些估计中的系统（偏差）与统计（涨落）误差如何依赖于样本大小 $N$ 与重尾分布的指数 $\gamma$。我们的结果对 Shannon 熵 $(\alpha=1)$、其相应的相似性度量（例如 Jensen-Shanon 散度）以及基于 $\alpha$ 阶广义熵的度量均成立。对于小的 $\alpha$（包括 $\alpha=1$），误差衰减慢于短尾分布中观察到的 $1/N$ 衰减。对于大于临界值 $\alpha^* = 1+1/\gamma \leq 2$ 的 $\alpha$，则恢复 $1/N$ 衰减。我们通过使用完整的 $\alpha$ 谱度量量化过去两个世纪英语语言的演变，展示了我们结果的实际意义。我们发现高频词比较低频词变化更慢，且 $\alpha=2$ 提供了量化语言变化的最稳健度量。