独立同分布信源的非渐近等分性质

给定一个独立同分布信源$X = \{X_i \}_{i=1}^{\infty}$，具有有限香农熵或微分熵（视情况而定）$H(X)$，建立了关于$H(X)$的非渐近等分性质（NEP），该性质通过确定$X_1 X_2...X_n$的信息谱，即$-{1\over n} \ln p(X_1 X_2...X_n)$的分布，刻画了对于任意有限块长$n$，$-{1\over n} \ln p(X_1 X_2...X_n)$与$H(X)$的接近程度。还建立了类似性质的非渐近等分性质（关于条件熵、互信息和相对熵）。这些非渐近等分性质对于信息论中非渐近编码（包括信源编码和信道编码）结果的发展至关重要，正如渐近等分性质对于迄今为止信息论中所有渐近编码定理的作用一样。作为例子，利用关于$H(X)$的NEP建立了一个非渐近固定速率信源编码定理，该定理揭示了对于任意有限块长$n$，当错误概率为常数，或以次多项式、多项式或次指数速度随块长$n$趋于0时，$X_1...X_n$固定速率编码的最小速率与错误概率之间的权衡的完整图景。借助关于其他信息量的NEP，类似性质的非渐近信道编码定理将在另一篇论文中建立。