信息分解图在香农熵之外的应用：Hu定理的推广

在信息论中，一个主要目标是寻找有用的函数来概括多个随机变量相互作用中所包含的信息量。具体而言，可以追问经典的香农熵、互信息以及高阶交互信息彼此之间如何关联。这一问题由Hu定理给出答案，该定理以信息图的广为人知的形式呈现：它将文氏图中的形状与信息函数联系起来，从而在集合论与信息论之间架起一座桥梁。在本工作中，我们将随机变量连同联合运算视为一个通过条件作用作用于信息函数的幺半群，并将熵视为满足信息链式法则的函数。这一抽象视角使得证明Hu定理的一个推广成为可能。它适用于香农熵与Tsallis熵、(Tsallis) Kullback-Leibler散度、交叉熵、Kolmogorov复杂度、子模信息函数以及机器学习中的泛化误差。我们的结果对Chaitin的Kolmogorov复杂度意味着，所有阶数的交互复杂度在期望上接近香农交互信息。对于在递增序列长度上性质良好的概率分布，这表明每比特期望交互复杂度与信息在渐近意义上重合，从而展示了算法信息论与经典信息论之间的强桥梁。