三变量间协同、冗余及特有信息的不变分量
信息论
2017-08-30 v1 神经与进化计算
math.IT
统计理论
生物物理
数据分析、统计与概率
统计理论
摘要
在三个随机变量的系统中，Williams和Beer的部分信息分解（PID）将两个变量（源）关于第三个变量（目标）所携带的信息分解为非负的信息原子，这些原子描述了变量间冗余、特有和协同的依赖模式。然而，将三个变量分为两个源和一个目标的分类方式限制了可定量解析的依赖模式，且并非天然适用于所有系统。在此，我们将PID扩展，以完全一般性地描述三变量依赖模式，无需引入额外的分解公理或对变量的目标/源性质做出假设。通过比较同一系统的不同PID格，我们揭示了一个更精细的PID结构，它由七个非负信息子原子组成，这些子原子在不同的目标/源分类下保持不变，并且足以构建任何PID格。这种更精细的结构自然地将冗余信息分解为两个非负分量：源冗余，源于源变量之间的成对相关性；以及非源冗余，并非源于此，且与源关于目标所携带的协同信息相关。该不变结构也足以构建系统的熵，因此它完整地刻画了系统中的所有相互依赖关系。
引用
@article{arxiv.1706.08921,
title = {Invariant components of synergy, redundancy, and unique information among three variables},
author = {Giuseppe Pica and Eugenio Piasini and Daniel Chicharro and Stefano Panzeri},
journal= {arXiv preprint arXiv:1706.08921},
year = {2017}
}