关于独立离散随机变量之和的最大熵

设 $X_1, \ldots, X_n$ 为取值于字母表 $\{0, 1, \ldots, r\}$ 的独立随机变量，且 $S_n = \sum_{i = 1}^n X_i$。Shepp--Olkin 定理指出，在二元情形（$r = 1$）下，$S_n$ 的香农熵在所有 $X_i$ 均服从均匀分布即 Bernoulli(1/2) 时达到最大。为将该定理推广至任意有限字母表，我们获得了 $S_n$ 最大熵的一个下界，并证明其在若干特殊情形下是紧的。除这些特殊情形外，我们给出一个论证以支持如下猜想：该下界对所有 $n, r$ 均表示最优值，即 $H(S_n)$ 在 $X_1, \ldots, X_{n-1}$ 于 $\{0, r\}$ 上均匀分布、而 $X_n$ 的概率质量函数为 $\{0, r\}$ 与 $\{1, \ldots, r-1\}$ 上均匀分布的混合（具有明确定义的非零权重）时达到最大。