神经信息处理系统中调制与算术交互的信息论分解之对比

生物与人工神经系统由许多局部处理器组成，其能力取决于将每个局部处理器的输出与其输入相关联的传递函数。本文利用信息论基础方面的一项最新进展，研究使用上下文输入来放大或衰减关于其驱动输入的信息传输的局部处理器的性质。这一进展使得具有两个不同输入的处理器所传输的信息能够被分解为以下几部分：每个输入独有的部分、两个输入共享的部分，以及依赖于两者但均不属于其中任何一个的部分，即协同。我们在此报告的分解表明，上下文调制具有与所有四种简单算术算子形成对比的信息处理特性，它可以采取多种形式，并且在我们先前对由兼具驱动和上下文输入的局部处理器组成的人工神经网络的研究中所使用的形式，在广泛的条件下特别适合提供上下文调制的独特能力。我们认为，此处报告的分解可以与在被认为反映上下文调制的条件下从经验神经生物学和心理物理学数据中获得的分解进行比较。这将进而为所涉及的底层过程提供新的见解。最后，我们建议此类分解可以辅助设计上下文敏感的机器学习算法。