熵功率不等式的信息论证明
信息论
2016-11-17 v2 math.IT
摘要
虽然大多数有用的信息论不等式都可以从熵或互信息的基本性质推导出来，但迄今为止香农熵功率不等式（EPI）仍是一个例外：现有的 EPI 信息论证明依赖于利用 Fisher 信息或最小均方误差（MMSE）来表示微分熵，而这些表示源自 de Bruijn 恒等式。在本文中，我们首先对这些证明提供了一个统一的视角，表明它们共享两个基本要素：1) 应用于保协方差线性变换的数据处理论证；2) 沿连续高斯扰动路径的积分。利用这些要素，我们通过一个互信息不等式开发了 EPI 的一种新的简洁证明，该证明取代了早期证明中使用的 Stam 和 Blachman 的 Fisher 信息不等式（FII）以及 Guo、Shamai 和 Verdú提出的关于 MMSE 的不等式。该结果的优势在于非常简洁，因为它仅依赖于互信息的基本性质。随后，这些思想被推广到 EPI 的各种扩展版本：Zamir 和 Feder 提出的针对随机变量线性变换的广义 EPI、Takano 和 Johnson 提出的针对相关变量的 EPI、Liu 和 Viswanath 提出的协方差约束 EPI，以及 Costa 提出的关于熵功率的凹性不等式。
引用
@article{arxiv.0704.1751,
title = {Information Theoretic Proofs of Entropy Power Inequalities},
author = {Olivier Rioul},
journal= {arXiv preprint arXiv:0704.1751},
year = {2016}
}
备注
submitted for publication in the IEEE Transactions on Information Theory, revised version