随机变量函数的熵的界及其运用
信息论
2017-12-22 v1 数据结构与算法
math.IT
摘要
众所周知，离散随机变量 的熵 总是大于或等于其函数 的熵 ，且等号成立当且仅当 为一一映射。本文给出当函数 不是一一映射时 的紧界，并举例说明若干相关的场景。作为通向主要结果的中间步骤，我们推导了在仅知最大与最小概率之比的界时，概率分布熵的下界。该下界改进了文献中的先前结果，并可能在当前场景之外找到应用。
引用
@article{arxiv.1712.07906,
title = {Bounds on the Entropy of a Function of a Random Variable and their Applications},
author = {Ferdinando Cicalese and Luisa Gargano and Ugo Vaccaro},
journal= {arXiv preprint arXiv:1712.07906},
year = {2017}
}
备注
Accepted for publications to IEEE Transactions on Information Theory