由置信传播求解的局部最大熵与自由能原理

一个统计系统经典地定义于微观态集合 $E$ 上，由全局能量函数 $H : E \to \mathbb{R}$ 给出，对每个逆温度 $\beta = T^{-1}$ 产生 Gibbs 概率测度（软极小）$\rho^\beta(H)$。Gibbs 态同时由自由能原理与最大熵原理刻画，分别对逆温度 $\beta$ 与平均能量 ${\cal U}(\beta) = \mathbb{E}_{\rho^\beta}[H]$ 具有双重约束。Legendre 变换关联了这些多样的变分原理，但遗憾的是其在高维下不可处理。全局能量通常给定为局部短程相互作用 $h_{\rm a} : E_{\rm a} \to \mathbb{R}$ 之和 $H(x) = \sum_{\rm a \subset \Omega} h_{\rm a}(x_{|\rm a})$，这些相互作用由有界子区域 ${\rm a} \subset \Omega$ 索引，且该局部结构可用于设计热力学泛函的良好近似方案。我们证明广义置信传播（GBP）算法通过收敛到自由能 $F(\beta)$、Shannon 熵 $S(\cal U)$ 与变分自由能 ${\cal F}(\beta) = {\cal U} - \beta^{-1} S(\cal U)$ 的 Bethe-Kikuchi 近似的临界点，求解了一组局部变分原理，扩展了 Yedidia 等人最初的对应性。这种 Legendre 对偶的局部形式给出了平均能量 ${\cal U}$ 与 $\beta$ 之间可能退化的关系。