Bethe 自由能允许计算图码实例的条件熵：基于聚合物展开的证明
信息论
2015-06-12 v2 math.IT
摘要
本文的主要目标是探索图纠错码的 Bethe 自由能（或熵）与 Shannon 条件熵之间的精确关系。主要结果表明，在大噪声机制下，用于二进制对称信道的低密度奇偶校验码（LDPC）所关联的 Bethe 自由能，随着码长增加，以高概率渐近精确。为得出此结果，我们基于 loop sum 作为起点并结合统计力学中的聚合物展开，开发了适用于相当通用图模型的新技巧。真实自由能被计算为包含 Bethe 自由能作为零阶项加上一系列修正的级数展开。容易看出，此类展开的收敛准则对于通用高温模型是满足的。我们将这些通用结果应用于低密度生成矩阵码和奇偶校验码的系综。虽然生成矩阵码的应用遵循标准的“高温”方法，但奇偶校验码的情形需要非平凡的新思路，因为硬约束对应于零温机制。尽管如此，人们可以将聚合物展开与扩展器及计数论证相结合，以证明在大数据块长度下，真实自由能与 Bethe 自由能之间的差异以高概率消失。
引用
@article{arxiv.1310.1294,
title = {The Bethe Free Energy Allows to Compute the Conditional Entropy of Graphical Code Instances. A Proof from the Polymer Expansion},
author = {Nicolas Macris and Marc Vuffray},
journal= {arXiv preprint arXiv:1310.1294},
year = {2015}
}