关于 iid 离散随机变量和的熵增长

我们推导了 N 个任意 iid 离散随机变量之和的香农熵 H 的渐近下界。推导得到的下界为 $H \geq \frac{r(X)}{2}\log(N) + {\it cst}$，其中以无因性秩 $r(X)$ 表示，该秩是我们引入的正整数量。该推导不依赖中心极限定理，而是基于多项分布和 iid 格状随机变量之和的渐近熵表达式构建的，这些对应于 $r(X)=1$ 的情况。