熵与小数量定律

引入两种新的信息论方法以建立Poisson逼近不等式。首先，仅使用基本的信息论技巧，证明当$S_n=\sum_{i=1}^nX_i$为（可能相关的）二元随机变量$X_1,X_2,...,X_n$之和，且$E(X_i)=p_i$、$E(S_n)=\la$时，有\n\begin{equation} D(P_{S_n}\|\Pol)\leq \sum_{i=1}^n p_i^2 + \Big[\sum_{i=1}^nH(X_i) - H(X_1,X_2,..., X_n)\Big], \end{equation}\n其中$D(P_{S_n}\|{Po}(\la))$为$S_n$的分布与Poisson($\la$)分布之间的相对熵。该界中的第一项度量$X_i$各自的微小性，第二项度量它们的相关性。概述了当用无穷可分分布逼近一般离散随机变量之和的分布时获得相应界的一般方法。其次，在$X_i$独立的特殊情形下，建立如下更紧的界，\n\begin{equation} D(P_{S_n}\|\Pol)\leq \frac{1}{\lambda} \sum_{i=1}^n \frac{p_i^3}{1-p_i}, \end{equation}\n并将其推广到$X_i$为一般整值随机变量的情况。其证明基于对新离散版Fisher信息的次可加性性质的推导，并使用了最近的Poisson分布对数Sobolev不等式。