一般字母表上的信息瓶颈

我们严格证明了一个或可被视为坊间常识的信源编码定理,它是受信息瓶颈方法启发、对某一问题向任意字母表的推广。对于一般随机变量 $(Y, X)$,我们本质上证明:存在某个 $n \in \mathbb{N}$ 以及一个函数 $f$,满足码率限制 $\log|f| \le nR$ 且 $I(Y^n; f(X^n)) \ge nS$,当且仅当存在一个随机变量 $U$ 使得马尔可夫链 $Y - X - U$ 成立、$I(U; X) \le R$ 且 $I(U; Y) \ge S$。证明依赖于已确立的离散情形,并展示了一项将离散编码定理提升至任意字母表的技术。