混合分布的微分熵:新界与应用
信息论
2022-12-05 v2 math.IT
概率论
摘要
混合分布被广泛用作从机器学习到通信工程再到物理等多样领域的建模工具,而在许多此类应用中,获得概率分布熵的界具有根本重要性。本文给出了熵凹性亏缺的紧界,即混合分布的熵与组成成分熵的加权和之间的差值。为建立凹性亏缺的下界和上界,我们获得了本身具有重要意义的结论。为得到非平凡的上界,我们发展了 skew-divergence 的性质并引入了“skew” -散度的概念;在此过程中得到了反向 Pinsker 不等式和 Jensen-Shannon 散度的界。推导了互补的下界,并特别关注对应于连续与离散随机变量独立求和的情形。阐述了该界的若干应用,包括加性噪声信道的互信息、计算的热力学以及泛函不等式。
引用
@article{arxiv.1805.11257,
title = {The Differential Entropy of Mixtures: New Bounds and Applications},
author = {James Melbourne and Saurav Talukdar and Shreyas Bhaban and Mokshay Madiman and Murti V. Salapaka},
journal= {arXiv preprint arXiv:1805.11257},
year = {2022}
}