微分熵的一系列最大熵上界
信息论
2026-01-06 v1 计算机视觉与模式识别
机器学习
math.IT
摘要
我们提出了一系列连续单变量随机变量微分熵的闭式最大熵上界，并研究了该序列的性质。随后我们展示了如何利用这些通用上界来约束高斯混合模型的微分熵上界。这需要以闭式计算高斯混合的原始矩和原始绝对矩，这些矩在统计机器学习和信息论中也可能有用。我们报告了实验并讨论了这些界的紧度。
引用
@article{arxiv.1612.02954,
title = {A series of maximum entropy upper bounds of the differential entropy},
author = {Frank Nielsen and Richard Nock},
journal= {arXiv preprint arXiv:1612.02954},
year = {2026}
}
备注
18 pages