熵的组合基础之起源

Boltzmann 给出的熵的组合基础可写为 $H = N^{-1} \ln \mathbb{W}$，其中 $H$ 是无量纲熵，$N$ 是实体数量，$\mathbb{W}$ 是系统给定实现可能发生的 Ways 数量（即其统计权重）。这可推广为熵和交叉熵的广义组合（或概率）定义：$H=\kappa (\phi(\mathbb{W}) +C)$ 和 $D=-\kappa (\phi(\mathbb{P}) +C)$，其中 $\mathbb{P}$ 是给定实现的概率，$\phi$ 是便捷的变换函数，$\kappa$ 是缩放参数，$C$ 是任意常数。若 $\mathbb{W}$ 或 $\mathbb{P}$ 满足多项式权重或分布，则使用 $\phi(\cdot)=\ln(\cdot)$ 和 $\kappa=N^{-1}$ 时，$H$ 和 $D$ 渐近收敛于 Shannon 和 Kullback-Leibler 函数。然而一般而言，$\mathbb{W}$ 或 $\mathbb{P}$ 未必是多项式的，也可能不趋近于渐近极限。在此类情况下，可定义熵或交叉熵函数，使其在约束条件下的极值化（"MaxEnt"或"MinXEnt"）给出系统的"最概然"（"MaxProb"）实现。这为 MaxEnt 和 MinXEnt 提供了概率基础，独立于任何信息论论证。本文考察了主导分布 $\mathbb{P}$ 的起源……（略）