Rényi 熵的尺度不变推广及其在 Tsallis 非广延框架下的关联散度与优化

熵与相对熵或交叉熵度量是信息论中两个非常基本的概念，也被广泛用于跨学科的统计推断。相关的优化问题，特别是熵的最大化和交叉熵或相对熵（散度）的最小化，对我们物理世界中的一般逻辑推断至关重要。本文讨论流行的 Rényi 熵的一个双参数推广及其相关的优化问题。我们推导了新广义熵度量的期望熵特征，包括其正性、可扩展性、广延性和广义（次）可加性。更重要的是，当在次概率类上考虑时，我们的新族是尺度不变的。我们还提出了相应的交叉熵和相对熵度量，并讨论了它们的几何性质，包括 $\beta$-凸集上的广义毕达哥拉斯结果。在新的熵的最大化和相应交叉熵或相对熵度量的最小化中，我们在由 Tsallis 归一化 $q$ 期望给出的非广延（‘第三选择’）约束下显式地进行，该约束也对应于概率分布的 $\beta$-线性族。我们讨论了相关前向与反向投影规则的重要性质及其存在性与唯一性。在此背景下，我们首次提出了一类熵度量——我们双参数推广的一个子族——在非广延约束下导出经典（广延）指数族的最大熵分布。然而，新熵族的其他成员导出幂律型广义 $q$-指数最大熵分布，这与 Tsallis 非广延理论一致。