中文

不同正阶Rényi熵之间的紧界

信息论 2016-05-06 v2 math.IT

摘要

随机变量的许多熵的公理化定义,例如Rényi熵,都与其概率分布的 α\ell_{\alpha}-范数密切相关。本研究考虑有限集上的概率分布,并考察对于整数 n2n \ge 2nn 维概率向量,在固定 α\ell_{\alpha}-范数(αβ\alpha \neq \beta)下 β\ell_{\beta}-范数的紧界。由这些结果,我们推导了在固定另一正阶 α\alpha 的Rényi熵时,正阶 β\beta 的Rényi熵的紧界。作为应用,我们研究了在均匀输入分布下,均匀聚焦信道的Ariomoto α\alpha 阶互信息的紧界以及Gallager随机编码指数。

关键词

引用

@article{arxiv.1605.00019,
  title  = {Sharp Bounds Between Two R\'enyi Entropies of Distinct Positive Orders},
  author = {Yuta Sakai and Ken-ichi Iwata},
  journal= {arXiv preprint arXiv:1605.00019},
  year   = {2016}
}

备注

A short version has been submitted to IEEE ITW2016. The short version is titled "Tight Bounds Between Two R\'enyi Entropies of Distinct Positive Orders."