Rényi 熵与互信息的双矩不等式
信息论
2017-02-24 v1 math.IT
摘要
本文探讨了函数 次幂积分的双矩不等式的一些应用，其中 。第一个贡献是用两个不同的矩给出了随机向量 Rényi 熵的上界。当其中一个矩为零阶矩时，这些界恢复了先前基于单一矩约束下最大熵分布的结果。更一般地，使用两个精心选择的非零矩来评估该界，可以在复杂度适度增加的情况下带来显著改善。第二个贡献是一种用关于条件密度方差的特定积分来给出互信息上界的方法。这些界具有若干源于其与方差分解联系的实用性质。
引用
@article{arxiv.1702.07302,
title = {Two-Moment Inequalities for R\'enyi Entropy and Mutual Information},
author = {Galen Reeves},
journal= {arXiv preprint arXiv:1702.07302},
year = {2017}
}