尾部冗余及其对无记忆信源压缩的刻画

我们形式化了可数无限字母表上分布集合的尾部冗余，并证明这一基本量刻画了由可数无限字母表上分布集合 $\mathcal P$ 独立同分布生成序列的通用压缩的渐近每符号冗余。与通用压缩的最坏情况表述相反，$\mathcal P$ 的有限单字母（平均情况）冗余并不自动意味着描述从 $\mathcal P$ 独立同分布采样的长度为 $n$ 的字符串的期望冗余随 $n$ 次线性增长。相反，我们证明来自 $\mathcal P$ 的长度为 $n$ 的 iid 序列的通用压缩由 $\mathcal P$ 中分布的尾部能被通用描述的好坏所刻画，表明 iid 字符串的渐近每符号冗余等于尾部冗余。