复杂系统的熵的三重面貌——信息、热力学与最大熵原理

熵有三种概念化方式：作为物理系统广延热力学量的熵（克劳修斯、玻尔兹曼、吉布斯），作为遍历信源信息产率的度量（香农），以及作为多项伯努利过程统计推断手段的熵（杰恩斯最大熵原理）。尽管这些概念在根本上不同，但对于处于平衡态的热力学系统、信息论中的遍历信源以及统计系统中的独立采样过程，熵的函数形式是简并的，即 $H(p)=-\sum_i p_i\log p_i$。对于许多典型的具有历史依赖性、非遍历且非多项的复杂系统，情况不再如此。我们在此证明，对于此类过程，这三种熵概念会导致不同的熵函数形式。我们针对三个具体例子显式计算了这些熵泛函。对于简单的自强化过程——波利亚瓮过程，信源信息率为 $S_{\rm IT}=\frac{1}{1-c}\frac1N \log N$，热力学（广延）熵为 $(c,d)$-熵 $S_{\rm EXT}=S_{(c,0)}$，而最大熵原理中的熵为 $S_{\rm MEP}(p)=-\sum_i \log p_i$。对于与幂律统计相关的简单路径依赖过程——样本空间缩减过程，信息率为 $S_{\rm IT}=1+ \frac12 \log W$，广延熵为 $S_{\rm EXT}=H(p)$，最大熵结果为 $S_{\rm MEP}(p)=H(p/p_1)+H(1-p/p_1)$。最后，对于多项混合过程，信息率由关于混合核 $f$ 的条件熵 $\langle H\rangle_f$ 给出，广延熵由 $H$ 给出，而最大熵原理泛函与混合核的对数一一对应。