i.i.d.序列的模式及其熵 - 第1部分：一般界限
信息论
2007-11-14 v2 math.IT
摘要
推导了独立同分布(i.i.d.)源生成序列模式的块熵的紧密界限。序列的一个模式是一组整数索引，其中每个索引代表该符号在原序列中首次出现的顺序。由于模式是对原序列的数据处理结果，其熵不可能大于原序列。本文给出的界限描述了模式熵作为原i.i.d.源熵、字母表大小、符号概率及其在概率空间中排列方式的函数。推导的匹配上界和下界提供了一种非常精确的工具，用于各种分布下的模式块熵近似，以及评估模式熵相对于原始i.i.d.序列熵的减小程度。
引用
@article{arxiv.cs/0605046,
title = {Patterns of i.i.d. Sequences and Their Entropy - Part I: General Bounds},
author = {Gil I. Shamir},
journal= {arXiv preprint arXiv:cs/0605046},
year = {2007}
}
备注
Submitted to IEEE Transactions on Information Theory