不同正阶Rényi熵之间的紧界
信息论
2016-05-06 v2 math.IT
摘要
随机变量的许多熵的公理化定义,例如Rényi熵,都与其概率分布的 -范数密切相关。本研究考虑有限集上的概率分布,并考察对于整数 的 维概率向量,在固定 -范数()下 -范数的紧界。由这些结果,我们推导了在固定另一正阶 的Rényi熵时,正阶 的Rényi熵的紧界。作为应用,我们研究了在均匀输入分布下,均匀聚焦信道的Ariomoto 阶互信息的紧界以及Gallager随机编码指数。
引用
@article{arxiv.1605.00019,
title = {Sharp Bounds Between Two R\'enyi Entropies of Distinct Positive Orders},
author = {Yuta Sakai and Ken-ichi Iwata},
journal= {arXiv preprint arXiv:1605.00019},
year = {2016}
}
备注
A short version has been submitted to IEEE ITW2016. The short version is titled "Tight Bounds Between Two R\'enyi Entropies of Distinct Positive Orders."