独立三元随机变量之和的最大熵

本文考虑并解决了在有限字母表上取值的独立随机变量之和的香农熵最大化这一经典问题，具体针对三元情形。即，建立了如下定理：若 $X_1,\ldots,X_n$ 是取值于 $\{0,1,2\}$ 的独立随机变量，则和 $S_n=X_1+\cdots+X_n$ 的熵在 $X_1,\ldots,X_{n-1}$ 在 $\{0,2\}$ 上均匀分布且 $X_n$ 的概率质量函数由 $\Prob(X_n=0) = \Prob(X_n=2) = w/2$, $\Prob(X_n=1) = 1-w$ 给出时达到最大，其中 $w = \big(1 + 2^{-H(B_n)+H(B_{n-1})}\big)^{-1}$ 且 $B_m\sim \Bin(m,1/2)$。该陈述可视为 Shepp--Olkin--Mateev 定理向三元字母表的推广。证明使用了 Hermite–Biehler 定理、Newton 不等式以及 Yu 关于超对数凹分布的最大熵定理。