i.i.d. 序列的模式及其熵 —— 第二部分：某些分布的界
信息论
2007-11-15 v1 math.IT
摘要
序列的模式是指一组整数索引，其中每个索引描述原序列中相应符号首次出现的顺序。在近期一篇论文中，针对由独立同分布（i.i.d.）源生成的序列的模式块熵得到了紧的一般界。本文为由 i.i.d. 均匀分布和单调分布（包括整数上的分布以及几何分布）生成的序列的模式块熵提供了精确逼近。即使对于非常短的块，也给出了这些分布的模式块熵的数值界。对于具有无限 i.i.d. 熵率的分布，也获得了紧的界。这些逼近是通过一般界及其推导技术获得的。还研究了较小字母表上分布的条件索引熵。
引用
@article{arxiv.0711.2102,
title = {Patterns of i.i.d. Sequences and Their Entropy - Part II: Bounds for Some Distributions},
author = {Gil I. Shamir},
journal= {arXiv preprint arXiv:0711.2102},
year = {2007}
}