迈向层次划分的信息论推广
信息论
2020-07-08 v2 统计力学
机器学习
math.IT
机器学习
摘要
复杂系统常表现出覆盖广泛物理尺度的多层组织，因此对其结构与功能的层次分解进行研究往往十分便利。为更好理解该现象，我们引入了一种适用于层次划分的信息论推广。我们首先重访近期提出的层次互信息（Hierarchical Mutual Information, HMI），并证明其可写为经典条件互信息项的逐层求和。接着，我们证明 HMI 由上界对应于层次联合熵。如此，类比经典情形，我们导出了许多其他经典信息论量的层次推广。特别地，我们证明与经典对应量不同，信息变异量（Variation of Information）的层次推广不是度量距离，但可变换为度量距离。此外，着眼于该理论现有发展的潜在应用，我们展示了如何对 HMI 进行随机校正。我们还通过详尽数值计算 corroborate 并分析了所有提出的理论结果，并给出了所引入形式化方法的一个说明性应用示例。最后，我们提及一些为使所提信息论推广达到成熟而最终应解决的开放问题。
引用
@article{arxiv.2003.02911,
title = {Towards a generalization of information theory for hierarchical partitions},
author = {Juan I. Perotti and Nahuel Almeira and Fabio Saracco},
journal= {arXiv preprint arXiv:2003.02911},
year = {2020}
}
备注
6 figures