一般混合分布的熵

混合分布是信息论、信号处理和机器学习中处理多模态数据的主力模型。然而即使每个组成密度都很简单，混合分布的微分熵也难以计算，因为混合将对数与求和耦合在一起。本文发展了一种确定性、闭式的工具箱，用于直接从组成参数对混合熵进行上下界和精确逼近。我们的起点是信息论信道观点：隐含的混合标签充当输入，观测值充当输出。该观点将混合熵分解为组成内平均不确定性加上重叠项，后者衡量观测值关于隐藏标签揭露的程度。我们随后使用组成密度之间的两两重叠积分来界定和逼近该重叠项，yielding explicit expressions whenever these overlaps admit a closed form。一个简单的数值方法校正 Jensen 重叠界限的系统偏差，并在完全重叠和近似完美分离两个极端情形下精确。最后一步保证该估计始终遵守普遍信息论界限。在高斯、因子化拉普拉斯、均匀和混合型混合型的闭式特化。数值实验在分离度、维数、组成数和相关协方差的情况下验证了所得界限和逼近。