单调分布与快速衰减单调分布的通用信源编码

我们研究了由单调分布生成的序列的通用压缩。我们表明，对于大小为 $k$ 的字母表上的单调分布，只要 $k = o(n^{1/3})$，每个概率参数的代价本质上为 $0.5 \log (n/k^3)$ 比特，其中 $n$ 是编码序列的长度。否则，对于 $k = O(n)$，总的平均序列冗余度总体为 $O(n^{1/3+\epsilon})$ 比特。随后，我们证明了存在一类定义在无限字母表上的单调分布子类，其总体冗余度仍可达到 $O(n^{1/3+\epsilon})$ 比特。该类包含快速衰减分布，包括许多定义在整数集上的分布和几何分布。对于一些衰减较慢的情况（包括其他定义在整数集上的分布），可实现总体为 $o(n)$ 比特的冗余度，并且本文推导了一种计算此类分布特定冗余率的方法。这些结果特别适用于有限熵的单调分布。最后，我们研究了假设序列受单调分布支配时的个体序列冗余行为。我们表明，对于经验分布为单调的序列，可以获得与平均情况类似的个体冗余度界。然而，即使经验分布中的单调性被破坏，相对于单调最大似然描述长度，仍可能实现随符号数增加而递减的个体序列冗余度。