香农熵与微分熵的加性组合线性不等式的等价性
信息论
2016-09-12 v2 math.IT
摘要
本文讨论独立群值随机变量之和的香农熵与微分熵线性不等式之间的对应关系。我们证明任何平衡的（系数和为零）香农熵线性不等式成立当且仅当其微分熵对应不等式也成立；此外，任何微分熵的线性不等式必须是平衡的。特别地，我们的结果表明，Kontoyiannis和Madiman最近证明的微分熵不等式\cite{KM14}可以统一地从Tao\cite{Tao10}的离散对应不等式推导出来。还得到了对某些阿贝尔群的推广。我们将香农熵不等式推广到微分熵的证明依赖于R\'enyi \cite{Renyi59}的一个结果，该结果将精细离散化随机变量的香农熵与其微分熵联系起来，并有助于确立量化随机变量之和的熵渐近等于量化之和的熵；反之利用与弱加性噪声卷积的微分熵的渐近性。
引用
@article{arxiv.1601.07498,
title = {Equivalence of additive-combinatorial linear inequalities for Shannon entropy and differential entropy},
author = {Ashok Vardhan Makkuva and Yihong Wu},
journal= {arXiv preprint arXiv:1601.07498},
year = {2016}
}