稀疏化、熵与稀疏数定律
信息论
2010-08-17 v1 math.IT
概率论
摘要
Renyi对离散随机变量的“稀疏化”操作是连续随机变量缩放操作的自然离散模拟。我们在信息论的背景下研究了稀疏化的性质，特别是与泊松逼近结果相关的信息论不等式。经典的二项分布到泊松分布的收敛（有时称为“小数定律”）被视为离散分布卷积的稀疏化极限定理的一个特例。我们为该极限提供了收敛速率，并建立了非渐近界。这一发展在某种程度上与导致中心极限定理的信息论版本的高斯不等式的发展相平行。特别地，我们引入了一个“稀疏化马尔可夫链”，并证明它在与熵幂不等式相关的方面扮演着类似于奥恩斯坦-乌伦贝克过程的角色。
引用
@article{arxiv.0906.0690,
title = {Thinning, Entropy and the Law of Thin Numbers},
author = {Peter Harremoes and Oliver Johnson and Ioannis Kontoyiannis},
journal= {arXiv preprint arXiv:0906.0690},
year = {2010}
}