概率密度函数的熵、交叉熵与 Rényi 散度：尖锐的三项不等式
信息论
2026-03-10 v1 math.IT
摘要
建立了一个关于概率密度函数对的微分 Rényi 熵、Rényi 散度和 Rényi 交叉熵的新型尖锐不等式。当一个概率密度函数为另一个的 escort density 时，可达到等号。我们应用这一不等式，结合一组互为倒数变换的框架，推导出诸多进一步的不等式，涉及经典和新的信息功能。一个显著事实是，在所有这些不等式中，Rényi 散度的两个概率密度函数被交叉类型和单类型信息功能的比值尖锐地界定。更具体地，我们推导出相对和交叉版本的绝对矩或 Fisher 信息测度（等）的尖锐不等式，涉及两个和三个概率密度函数。
引用
@article{arxiv.2603.07995,
title = {Entropies, cross-entropies and R\'enyi divergence: sharp three-term inequalities for probability density functions},
author = {Razvan Gabriel Iagar and David Puertas-Centeno},
journal= {arXiv preprint arXiv:2603.07995},
year = {2026}
}