基于Chen-Stein方法的泊松近似之信息论视角
摘要
本工作的第一部分考虑了（可能非独立且非同分布的）伯努利随机变量之和的熵。通过Chen-Stein方法，导出了用具有相同均值的泊松随机变量的熵来近似该熵所产生的误差的上界。本工作的第二部分导出了独立伯努利随机变量之和的分布与泊松分布之间总变差（TV）距离和相对熵的新下界。本工作第二部分新下界推导的起点是引入了一个总变差距离的新下界，其推导推广并细化了Barbour和Hall（1984）基于泊松近似Chen-Stein方法的分析。引入了这两个分布之间相对熵的新下界，并将该下界与Kontoyiannis等人（2005）报道的相对熵上界进行了比较。相对熵新下界的推导源于总变差距离的新下界，并结合了Ordentlich和Weinberger（2005）对Pinsker不等式的分布依赖性细化。通过这些量与总变差距离和相对熵之间的一些关系，还导出了独立伯努利随机变量之和的分布与具有相同均值的泊松分布之间Bhattacharyya参数、Chernoff信息和Hellinger距离的上下界。本工作的分析结合了信息论的要素与泊松近似的Chen-Stein方法。所得的界易于计算，并举例说明了其适用性。
引用
@article{arxiv.1206.6811,
title = {An Information-Theoretic Perspective of the Poisson Approximation via the Chen-Stein Method},
author = {Igal Sason},
journal= {arXiv preprint arXiv:1206.6811},
year = {2013}
}
备注
This paper was withdrawn from the IEEE Transactions on Information Theory after its conditional acceptance (subject to revision) because stronger and more general results for the entropy bounds appear in a follow-up paper [arXiv:1209.5259]. The lower bounds on the TV distance here are re-submitted to Statistics and Probability Letters [arXiv:1301.7504]