基于优化的 Rényi 熵紧界及其在猜测与压缩中的应用
信息论
2018-12-11 v1 math.IT
概率论
摘要
本文给出了具有有限个可能取值的离散随机变量的函数的 Rényi 熵的紧界，其中所考虑的函数不是一一映射。为此，推导了支撑集有限的离散随机变量 Rényi 熵的紧下界，该下界依赖于支撑集大小以及最大与最小概率质量之比。本工作受 Cicalese 等人最近发表的聚焦于 Shannon 熵的论文启发，其将该公司结果加强并推广到任意正阶的 Rényi 熵。鉴于这些广义界以及 Arikan 和 Campbell 的工作，我们推导了离散无记忆源猜测矩与无损数据压缩的非渐近界。
引用
@article{arxiv.1812.03324,
title = {Tight Bounds on the R\'enyi Entropy via Majorization with Applications to Guessing and Compression},
author = {Igal Sason},
journal= {arXiv preprint arXiv:1812.03324},
year = {2018}
}
备注
The paper was published in the Entropy journal (special issue on Probabilistic Methods in Information Theory, Hypothesis Testing, and Coding), vol. 20, no. 12, paper no. 896, November 22, 2018. Online available at https://www.mdpi.com/1099-4300/20/12/896