静态和动态高斯系统中协同与冗余信息共享的探索
信息论
2015-05-13 v2 math.IT
神经元与认知
摘要
为了充分表征两个“源”变量关于第三个“目标”变量所携带的信息，必须将总信息分解为冗余、独特和协同分量，即获得部分信息分解（PID）。然而，Shannon 信息论并未提供完全确定这些量的公式。最近的一些研究已开始解决这一问题。人们提出了 PID 量的一些可能定义，并对由离散变量组成的系统进行了一些分析。在此，我们首次对静态和动态高斯系统上的 PID 进行了深入分析。我们表明，对于一大类高斯系统，先前提出的 PID 公式意味着：(i) 冗余简化为任一源变量提供的最小信息，因此与源之间的相关性无关；(ii) 协同是当已知较强源时由较弱源贡献的额外信息，并且可以随源之间的相关性增加或减少。我们发现高斯系统经常表现出净协同，即两个源共同携带的信息大于每个源单独携带的信息之和。借鉴几个明确的例子，我们讨论了这些发现对信息转移度量以及基于信息的复杂度度量的影响，无论是在一般情况下还是在神经科学背景下。重要的是，通过提供适用于连续时间序列数据的协同和冗余的独立公式，我们开辟了一种表征和量化复杂系统变量间信息共享的新方法。
引用
@article{arxiv.1411.2832,
title = {Exploration of synergistic and redundant information sharing in static and dynamical Gaussian systems},
author = {Adam B. Barrett},
journal= {arXiv preprint arXiv:1411.2832},
year = {2015}
}
备注
29 pages, 4 figures, in press Physical Review E, minor revisions to original version in response to peer review