熵和集不等式与所有字母表上多项式快速收敛至香农容量

我们证明了当两个条件随机变量 $X | Y$ 的副本（其中 $X$ 支撑在素数 $q$ 的 $\mathbb{Z}_q=\{0,1,\dots,q-1\}$ 上）模 $q$ 相加时，熵增加的一个下界。具体地，给定一对随机变量 $(X,Y)$ 的两个独立同分布副本 $(X_1,Y_1)$ 和 $(X_2,Y_2)$，其中 $X$ 取值于 $\mathbb{Z}_q$，我们证明 $$H(X_1 + X_2 \mid Y_1, Y_2) - H(X|Y) \ge \alpha(q) \cdot H(X|Y) (1-H(X|Y))$$ 对于某个 $\alpha(q) > 0$ 成立，其中 $H(\cdot)$ 是归一化（除以因子 $\log_2 q$）的熵。我们的动机是对极化码有限长行为的有效分析，且 $q$ 为素数的假设是必要的。对于支撑在无有限子群的无限群上且无条件的 $X$，Tao (2010) 证明了（非归一化）熵绝对增加的一个和集不等式。我们利用我们的和集不等式分析 Arıkan 的极化码构造，并证明：对于任意 $q$ 元信源 $X$（$q$ 为任意固定素数）和任意 $\epsilon > 0$，只要 $N$ 关于 $1/\epsilon$ 多项式大，极化码就能将 $N$ 个独立同分布副本 $X$ 高效压缩为 $(H(X)+\epsilon)N$ 个 $q$ 元符号。通过将 $q$ 分解为素数并组合每个素数的不同极化码，我们可以为复合字母表获得具有类似保证的容量可达信源编码。我们的结果在噪声信道编码方面的推论是：对于所有离散无记忆信道，存在显式编码，使得在块长和解码复杂度受 $1/\epsilon$ 多项式限制的条件下，能够在 $\epsilon > 0$ 内实现对称香农容量的可靠通信。该结果先前已针对二进制输入信道的特例得到证明（Guruswami-Xia '13 和 Hassani-Alishahi-Urbanke '13），而本文将该结果推广到任意字母表上的信道。